人工智能通识课：Pandas 表格数据处理

在学习 Pandas 时，初学者最容易遇到的困难，并不是某个函数不会写，而是不清楚这些函数在整个数据处理流程中各自承担什么任务。

如果将 Pandas 仅理解为分散的 API，知识点容易显得零碎；如果将其放回真实任务链中，则更容易把握其整体作用。

Pandas 的常见工作流程大致如下：

（1）把原始数据整理成 DataFrame

（2）从整张表中选出当前真正需要的数据

（3）把不规范的数据清洗到可分析状态

（4）从表格中提取统计结果

（5）在必要时重塑表格或整合多张表

（6）从文件读入数据，并把结果重新导出

（7）把分析结果转化为更直观的图形表达

这七个环节相互衔接，共同构成表格数据处理的基本框架，并不要求严格按上述顺序执行。实际任务通常从读取数据开始，再根据需要完成选取、清洗、整合、统计与展示。在人工智能实践中，这些操作也常用于整理训练数据、准备特征以及分析模型结果。

一、任务起点：把原始数据整理成 DataFrame

数据分析的起点，是将原始数据整理为 Pandas 可以统一处理的表格对象，即 DataFrame。

这一阶段的核心任务，是将原始数据整理为结构清楚、字段明确且可继续操作的数据表。

这一阶段的重点不在复杂分析，而在于建立对表格结构的基本认识：

• 行对应什么

• 列对应什么

• 行索引与列标签分别起什么作用

• 初步查看数据类型（Data Type）是否符合预期

安装：

pip install pandas

示例：构建学生成绩表 scores

输出：

完成这一阶段之后，应当能够：

• 已得到一张 DataFrame

• 已能看懂其行、列、索引与标签

• 已能查看其前几行、整体形状与数据类型

• 已为后续选取、清洗、统计奠定基础

二、任务聚焦：选出真正需要的数据

一张完整数据表并不等于“当前就要全部使用”。在实际任务中，分析者通常只关心表中的某一部分：

• 某几列

• 某几行

• 某个标签范围

• 某个位置区间

• 满足某些条件的记录

因此，这一阶段的核心任务是：

先从整张表中选出真正需要的数据。重点不是“改数据”，而是“缩小分析范围”。

示例 1：选取关键列

print(scores[["学号", "姓名", "数学"]])

示例 2：按标签选取

print(scores.loc[0:2, ["姓名", "数学", "英语"]])

示例 3：按位置选取

print(scores.iloc[0:3, 1:5])

示例 4：按条件筛选

print(scores[scores["数学"] > 90])

示例 5：处理多个筛选条件

完成这一阶段之后，应当能够：

• 按列选取分析对象

• 按行选取记录范围

• 区分 .loc[] 与 .iloc[]

• 使用布尔条件筛选数据

• 组合多个筛选条件

也就是说，到了这一阶段，已经不再是“面对整张表”，而是“已经拿到当前任务真正关心的数据子集”。

三、任务准备：把数据清洗到可分析状态

能够选出数据，并不意味着数据已经可以直接分析。现实中的原始数据往往还存在大量问题，例如：

• 缺失值（Missing Value）

• 无效值或异常内容

• 重复记录（Duplicate Data）

• 类型不一致

• 日期、数字格式不统一

因此，此阶段的核心任务是：

把已经选出的数据整理为结构一致、类型合理、格式统一、能够参与分析的数据。

这一阶段的任务，是将可读取的数据进一步整理为可分析的数据。

示例：清洗存在问题的成绩表

这里的均值填补仅用于演示，实际成绩管理应依据业务规则处理缺失成绩。“缺考”也不一定属于无效数据，本例将其转换为缺失值以便进行数值统计；数学列中的缺失值仍然保留，后续分析时需要明确处理口径。

完成这一阶段之后，应当能够：

• 识别并处理缺失值

• 替换无效内容

• 把文本列转为数值或时间类型

• 删除重复记录

• 统一数字与时间格式

• 让表格进入“可分析状态”

也就是说，这一步并不是附加修饰，而是保证分析结果可靠性的基础。

四、任务求解：从表格中提取统计结果

当前的数据已经具备可分析条件，接下来就进入真正的分析阶段。分析并不只是“看数据”，而是要从数据中提取出可以解释的结果。

这一阶段的核心任务是：把分散在表格中的原始数值，转换为整体概况、类别分布、基础指标与分组结论。

示例 1：快速把握整体概况

print(scores.describe())

示例 2：统计类别分布

print(scores["班级"].value_counts())

示例 3：计算基础指标

print(scores["数学"].min())

示例 4：按类别分组分析

print(scores.groupby("班级")[["语文", "数学", "英语"]].mean())

示例 5：汇总多个统计量

)

完成这一阶段之后，应当能够：

• 使用 describe() 快速把握数值概况

• 使用 value_counts() 统计类别分布

• 计算均值、最大值、最小值、中位数等基础指标

• 使用 groupby() 观察类别间差异

• 使用 agg() 汇总多个统计结果

经过上述处理，表格中的数据已经从“记录集合”转化为“可解释结果”。

五、任务扩展：重塑表格并整合多张数据表

并非所有分析任务都能直接在当前表格结构上完成。有时问题出在“单张表结构不适合分析”，有时问题出在“信息分散在多张表中”。

因此，这一阶段的核心任务是：

当表结构不合适，或数据分散在多张表里时，先重塑表格或整合数据，再进行分析。

示例 1：把宽表转换成长表

print(long_scores)

示例 2：生成更适合分析的透视表

print(summary)

示例 3：按关键字段合并多张表

print(scores_with_class)

示例 4：按学号整合社团信息

print(scores_with_club)

完成这一阶段之后，应当能够：

• 理解长表与宽表

• 使用 melt() 重塑单张表

• 使用 pivot_table() 生成统计透视表

• 使用 merge() 按关键字段合并多张表

• 区分 merge()、join() 与 concat() 的适用场景

经过上述处理，数据处理不再局限于“单表内部操作”，而是进入更完整的数据组织阶段。

六、任务衔接：读写文件与数据输入输出

在前面的示例中，数据多通过代码直接构造，这是为了便于教学。但在真实环境中，数据通常来自文件或外部系统，分析结果也需要重新输出。

因此，这一阶段的核心任务是：把 Pandas 与真实的数据输入输出场景连接起来。

以下读取示例需要准备相应文件，并将路径、工作表名称改为实际值。读取和写入本例中的.xlsx文件，还需要安装相应的 Excel 引擎，例如：

pip install openpyxl

是 Pandas 支持.xlsx读写的可选依赖之一。

示例 1：读取 CSV 文件

print(scores.head())

示例 2：读取 Excel 文件

print(scores.head())

示例 3：导出清洗结果

clean_scores.to_excel("scores_cleaned.xlsx", index=False)

示例 4：处理表头与索引问题

)

header=None 表示文件没有表头。如果文件本来有表头，使用这一设置会把表头当作数据读入。这里分别使用不同变量保存读取结果，避免覆盖前面的成绩表。

完成这一阶段之后，应当能够：

• 使用 read_csv() 读取文本数据文件

• 使用 read_excel() 读取电子表格文件

• 使用 to_csv()、to_excel() 导出结果

• 处理表头、索引与编码问题

• 理解 Pandas 在真实数据输入与结果输出流程中的中间作用

也就是说，Pandas 已经不再只是“代码中的表格对象”，而是现实数据流程中的中间枢纽。

七、任务表达：把分析结果展示出来

完成统计之后，分析任务还没有真正结束。因为分析的目标不仅是“得到结果”，还包括“把结果清楚表达出来”。

这一阶段的核心任务是：把统计结果转化为更直观的图形表达。

Pandas 默认使用 Matplotlib 作为绘图后端，运行以下示例前应安装 Matplotlib。示例中的姓名、班级和科目包含中文，还需要配置本机已安装且支持中文的字体，可参阅《人工智能通识课：Matplotlib 绘图基础》。

示例 1：直接从表格生成图形

scores["数学"].plot()

在部分交互式环境中，图形会自动显示；在普通 Python 脚本中，通常需要在绘图后调用plt.show()：

plt.show()

示例 2：比较不同学生的数学成绩

scores.plot(x="姓名", y="数学", kind="bar")

示例 3：展示类别分布与占比

scores["班级"].value_counts().plot(kind="pie", autopct="%.1f%%")

示例 4：观察分布特征

scores[["语文", "数学", "英语"]].plot(kind="box")

示例 5：展示分组结果

class_mean.plot(kind="bar")

完成这一阶段之后，应当能够：

• 使用 plot() 从 DataFrame 或 Series 快速生成图形

• 根据任务选择柱状图、折线图、饼图、直方图和箱线图

• 把类别分布、数值变化、分布特征和分组结果图形化

• 理解 Pandas 绘图与 Matplotlib、Seaborn 的关系

经过上述处理，分析流程中的“结果表达”也建立起来了。

小结

本次课以任务驱动方式梳理了 Pandas 的核心工作链：先构建 DataFrame，再完成数据选取、清洗、统计、重塑与整合、文件读写与结果展示。掌握这条处理路径，比零散记忆函数更重要，也更有助于形成完整而稳定的表格数据处理能力。

“点赞有美意，赞赏是鼓励”