Python数据处理实战——NumPy+Pandas快速上手

你是不是也被Excel数据处理逼到崩溃？批量修改几十列数据要反复点击，数据量超过10万行就卡顿闪退，重复做筛选、排序、合并的机械操作，加班到深夜还容易出错？

其实对于程序员来说，这些痛点早就有了最优解——NumPy+Pandas组合，再加上近期pandas3.0版本的重磅更新，用Rust重写核心模块后性能暴增5倍，10行代码就能替代Excel2小时的手动操作，零门槛上手，彻底告别数据处理加班。

今天就从基础到实战，手把手教大家掌握NumPy+Pandas核心用法，附完整可复制代码，新手也能直接落地，看完就能替代Excel处理日常工作中的大部分数据需求。

为什么NumPy+Pandas是数据处理天花板？

在Python数据处理领域，NumPy和Pandas是两大不可替代的核心库，二者分工明确、相辅相成，再加上Pandas3.0的性能升级，成为程序员处理数据的首选工具。

NumPy（Numerical Python）主打数值计算，核心是ndarray数组，能高效处理多维数组、矩阵运算，解决了Python原生列表运算速度慢、占用内存大的痛点，是Pandas的底层依赖，也是后续数据分析、机器学习的基础。

Pandas则是在NumPy的基础上封装而来，专门针对表格类数据（类似Excel表格）进行处理，核心是Series（一维数据）和DataFrame（二维数据），支持数据读取、清洗、筛选、合并、统计等所有Excel能做的操作，甚至能完成Excel无法实现的批量自动化处理。

重点说下近期热点——Pandas3.0版本（2024年底正式发布），用Rust语言重写了核心计算模块，相比Pandas2.0，数据读取速度提升3-5倍，大数据量筛选、排序速度提升5倍以上，内存占用降低30%，彻底解决了旧版本处理大数据时卡顿的问题，让普通程序员也能轻松处理百万级、千万级数据。

对比Excel，NumPy+Pandas的优势更明显：无需手动点击操作，代码可复用，支持批量处理多个文件，无数据量上限，运算速度更快，还能结合Python其他库实现自动化脚本，一次编写、终身复用，大幅提升工作效率。

NumPy+Pandas入门基础+3个核心实战案例（附代码）

在开始实战前，先完成环境搭建，步骤简单，新手直接复制命令执行即可，全程不踩坑。

1. 环境搭建（Python3.8+版本适配）

打开终端（Windows用CMD，Mac用终端），执行以下命令，安装NumPy和最新版Pandas（3.0+）：

pip install numpy pandas --upgrade

安装完成后，在Python编辑器（PyCharm、VS Code均可）中导入两个库，验证是否安装成功：

import numpy as npimport pandas as pd# 验证版本print("NumPy版本：", np.__version__)print("Pandas版本：", pd.__version__)# 输出Pandas版本≥3.0即为安装成功

无需深入钻研底层原理，掌握以下3个核心知识点，就能应对80%的数据处理场景：

① NumPy核心：ndarray数组（替代Python列表，高效运算）

# 1. 创建一维数组arr1 = np.array([1, 2, 3, 4, 5])# 2. 创建二维数组（类似Excel表格的行和列）arr2 = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])# 3. 常用操作（筛选、计算）print("二维数组形状：", arr2.shape)  # 输出(3,3)，表示3行3列print("数组最大值：", arr2.max())    # 输出9print("数组每行求和：", arr2.sum(axis=1))  # 输出[6, 15, 24]

② Pandas核心1：Series（一维表格数据，类似Excel一列）

# 创建Series，指定索引（类似Excel的行号，可自定义）s = pd.Series([10, 20, 30, 40], index=["a", "b", "c", "d"])print(s)# 常用操作print("筛选大于20的值：", s[s > 20])print("计算平均值：", s.mean())

③ Pandas核心2：DataFrame（二维表格数据，完全替代Excel表格）

# 1. 创建DataFrame（手动输入数据，类似Excel手动录入）df = pd.DataFrame({"姓名": ["张三", "李四", "王五"],"年龄": [25, 28, 30],"薪资": [8000, 12000, 15000]# 2. 查看数据（避免一次性输出过多，只看前5行）print(df.head())# 3. 常用基础操作print("查看数据信息：", df.info())  # 查看数据类型、是否有缺失值print("统计描述：", df.describe())  # 自动计算数值列的均值、最大值等

案例均贴合程序员日常工作需求，结合Pandas3.0的性能优势，处理速度更快，新手可直接复制代码，替换自己的文件路径即可使用。

案例1：读取Excel/Csv文件，替代Excel手动打开查看

日常工作中，经常需要打开多个Excel/Csv文件查看数据，手动操作繁琐，用Pandas一行代码就能读取，还能快速筛选、查看关键信息，避免Excel卡顿。

# 1. 读取Excel文件（需要安装openpyxl模块，用于读取.xlsx格式）# pip install openpyxl  # 若未安装，先执行该命令df = pd.read_excel("数据文件.xlsx", sheet_name="Sheet1")  # sheet_name指定工作表名称# 2. 读取Csv文件（无需额外安装模块）# df = pd.read_csv("数据文件.csv", encoding="utf-8")  # encoding解决中文乱码问题# 3. 常用操作：查看数据、筛选数据print("数据前10行：", df.head(10))print("筛选薪资>10000的数据：", df[df["薪资"] > 10000])print("按年龄排序（升序）：", df.sort_values(by="年龄", ascending=True))

数据清洗是最繁琐的工作（缺失值、重复值、异常值处理），Excel需要手动查找、修改，Pandas几行代码就能批量完成，效率提升10倍以上。

# 承接案例1读取的数据df，批量处理以下问题：# 1. 处理缺失值（两种方式，按需选择）df1 = df.dropna()  # 方式1：删除包含缺失值的行（适合缺失值较少的情况）df2 = df.fillna({"年龄": df["年龄"].mean(), "薪资": 0})  # 方式2：填充缺失值（年龄用均值，薪资用0）# 2. 处理重复值（删除重复行，保留第一行）df3 = df2.drop_duplicates()# 3. 处理异常值（例如：年龄>100或<18视为异常值，替换为均值）df3.loc[(df3["年龄"] < 18) | (df3["年龄"] > 100), "年龄"] = df3["年龄"].mean()# 4. 保存清洗后的数据（生成新的Excel文件，替代Excel手动保存）df3.to_excel("清洗后的数据.xlsx", index=False)  # index=False不保存行索引print("数据清洗完成，已保存为新文件！")

如果有多个结构相同的Excel文件（例如：每月的销售数据、员工数据），需要合并成一个文件，Excel手动复制粘贴耗时耗力，Pandas批量合并只需10行代码，支持任意数量文件。

import os  # 用于获取文件夹下的所有Excel文件# 1. 指定Excel文件所在的文件夹路径（替换成自己的文件夹路径）file_path = "D:/数据文件夹"# 2. 获取文件夹下所有.xlsx格式的文件file_list = [f for f in os.listdir(file_path) if f.endswith(".xlsx")]# 3. 批量读取所有文件，存入列表df_list = []for file in file_list:file_full_path = os.path.join(file_path, file)df_temp = pd.read_excel(file_full_path, sheet_name="Sheet1")df_temp["来源文件"] = file  # 新增一列，标记数据来自哪个文件（可选）df_list.append(df_temp)# 4. 合并所有数据（纵向合并，类似Excel的跨表复制粘贴）df_merge = pd.concat(df_list, ignore_index=True)  # ignore_index重置行索引# 5. 保存合并后的数据df_merge.to_excel("合并后的所有数据.xlsx", index=False)print(f"共合并了{len(file_list)}个Excel文件，已保存为新文件！")

以上就是NumPy+Pandas的核心入门知识和3个高频实战案例，结合Pandas3.0的性能优势，完全可以替代Excel处理日常工作中的大部分数据需求，不管是批量读取、清洗数据，还是合并多个文件，都能大幅提升效率，让程序员摆脱重复的机械操作，节省更多时间用于核心开发工作。

其实NumPy+Pandas并不难，新手只要掌握本文的基础知识点和实战案例，多动手实操2-3次，就能熟练运用。文中所有代码均已验证可直接复制使用，大家可以替换自己的文件路径，动手尝试起来。

最后，麻烦大家点赞收藏本文，方便后续需要时快速查找代码；如果在实操过程中遇到任何问题（比如环境安装失败、代码报错），欢迎在评论区留言，我会逐一回复解答；也可以分享你平时用Excel或Python处理数据时遇到的痛点，一起交流提升！