网易首页 > 网易号 > 正文 申请入驻

人工智能通识课:Python 数据分析与可视化(辅助篇)

0
分享至

统计量把多条记录概括为少数数字,图形把数值关系转化为可观察的模式。概括过程中可能遗漏细节,图形也可能因统计口径或坐标尺度产生误导。进一步理解计算依据、样本范围与算法前提,有助于检查大模型生成的分析代码,并准确解释结果。

通过手算核对、模拟数据和重复测量,可以观察统计量如何形成、图形如何变化,以及数据规模如何影响计算。每个实例都应先明确预期,再运行检查,使分析过程与结论相互对应。

一、分析问题与统计口径

1.1 均值与中位数

数据为 2、4、6、8 时,均值为 5。排序后中间两项为 4 与 6,中位数同样为 5。均值利用所有数值,中位数由排序后的中间位置确定,两者可以从不同角度概括数据的中心。

若把 8 改成 80,均值变为 23,中位数仍为 5。少数极端值可能明显改变均值。对于收入、时长等容易出现长尾的数据,联合报告均值、中位数和分布,有助于理解差异。

众数(Mode)是出现次数最多的值,可以不唯一。测量值经过四舍五入后,重复次数可能改变,众数也可能随之变化。因此,应说明统计精度,并保留并列结果。

print(values.mode().tolist())  # [2, 4],两个并列众数

1.2 方差的两种分母

对 2、4、6、8,离均值 5 的偏差为 −3、−1、1、3,偏差平方和为 20。若这四个数就是所要描述的全部对象,以 4 为分母,方差为 5;若将它们看作来自更大总体的样本,常用样本方差以 3 为分母,结果约为 6.667。

样本均值由同一批数据估计,偏差和为零,最后一个偏差由其余偏差决定,因此只有 n − 1 个可以独立变化的偏差。在独立同分布且总体方差有限等条件下,以 n − 1 为分母得到总体方差的无偏估计。“无偏”描述重复抽样下的平均性质,不保证每次估计都等于总体方差。

标准差是方差的平方根,与原数据具有相同量纲。方差的无偏性不会自动传递给开平方后的标准差。选择分母时,应说明是在描述给定数据,还是估计更大总体的变异程度。

1.3 分位数的线性插值

分位数(Quantile)描述排序后不同位置对应的数值。一种常见方法使用从零开始的位置,先计算 h,再在相邻观测值之间进行线性插值。设排序后的数据为 x₍₀₎、…、x₍ₙ₋₁₎,p 为零至一之间的分位比例:

当 h 为最后一个位置时,直接取最大值。对 2、4、6、8,第一四分位数的位置为 0.75,在 2 与 4 之间插值得到 3.5;第三四分位数为 6.5,四分位距为 3。

分位数有不同计算约定,小样本中的差异尤其容易观察。比较不同工具的结果时,应先统一方法,再判断计算是否一致。

二、统计实现与变量关系

2.1 皮尔逊相关系数的构成

皮尔逊相关系数(Pearson Correlation Coefficient)衡量成对数值变量的线性关系。设两组观测的均值分别为 x̄、ȳ,且两组都具有非零变异,则:

分子综合两组数值偏离各自均值时的共同变化,分母将其按各自的波动尺度归一化。若某组数值完全相同,分母为零,相关系数未定义。计算前还需确认每一对数值来自同一个观测对象,并排除缺失或非有限的配对。

取 x 为 1、2、3,y 为 2、4、6。两组偏差分别为 −1、0、1 和 −2、0、2,分子为 4,分母也为 4,因此相关系数为 1。

2.2 线性关系与因果解释

相关系数接近零,仍可能存在明显的非线性关系;相关系数接近 1 或 −1,也不能单独证明因果关系。共同原因、样本选择和数据生成方式都可能影响结果。

第三章将按照“数学成绩乘以一个系数,再加随机波动”的方式生成英语模拟成绩。两者出现正相关,部分来自预先规定的生成关系,不能作为数学学习促进英语成绩的真实证据。

不宜把固定阈值机械地用于所有领域。解释相关程度时,应同时考虑样本量、测量误差、变量范围和散点分布。

print(r)  # 0.0,y 仍完全由 x 的平方决定

2.3 公式与计算核对

独立核验可以把手算结果、按定义实现的步骤和库函数结果进行对照。检查内容既包括数值,也包括样本量、分母、插值方法和相关系数的定义条件。

print("均值、方差、分位数与相关系数核验通过")

三、图形表达与准确呈现

3.1 气温示例的完整数据构造

为十二个月分别设定模拟温度的均值参数,以 3 ℃ 为标准差,每月随机生成 30 条记录,共 360 条。随机样本的实际月均值通常与设定参数略有差异。

这种构造用于观察趋势与波动,不对应某城市某年的真实逐日气象记录。每月固定 30 条也不符合真实公历,因此记录使用月内样本编号,不赋予实际日期。

# 实际样本均值和标准差不必恰好等于生成参数

3.2 五类图的判断依据

折线图对应时间等有序自变量;柱状图比较类别数值;散点图展示两个数值变量的关系;饼图表现互不重叠的类别在同一整体中的份额;直方图按数值区间汇总频数。

柱状图的柱对应类别,直方图的柱对应数值区间。直方图的分箱边界会影响分布外观;使用频数比较时,通常采用等宽分箱。采用不同箱宽时,应明确高度表示频数还是密度,避免误读。

百分比图需要明确分母和分类是否覆盖整体。多选题中,各选项人数分别除以答题人数,比例相加可能超过 100%,通常不适合直接画成表示一个整体的饼图。

箱线图可以补充分位数信息。箱体通常从第一四分位数延伸到第三四分位数,箱内线表示中位数;须线和单独标记点的规则需要说明。常见的 1.5 倍四分位距规则只提供异常候选,不能自动证明数据错误。


图 3-1:占比、分布与箱线图的比较

3.3 从数据到图形

图形应与同一组数据的统计结果对应。模拟气温用于观察月份变化,模拟成绩用于观察预设关系,独立的类别计数用于比较份额,三者的样本范围需要分别说明。

# 每次新建目录,不覆盖已有结果;目录不会自动删除

3.4 图形解释练习

比较图形时,可以保持同一组数据不变,只调整分箱或坐标范围,从而观察视觉差异来自哪里。若改变了输入记录,则应同时报告改变依据、前后样本量和统计值。

下面的删点操作只用于观察结果敏感性,不构成正式分析中的删除理由。

# 原数据保留;最高分并不自动属于错误数据

四、算法效率与数据规模

4.1 线性、对数与排序工作量

在没有额外索引或已有最大值信息的无序列表中查找最大值,需要检查全部元素,工作量随元素个数线性增长。归并排序、堆排序等比较排序算法的最坏时间复杂度为线性对数量级;在支持常数时间位置访问的有序序列上,二分查找的比较次数按对数量级增长。

最 大 值 查 找 归 并 排 序 或 堆 排 序 二 分 查 找

这些量级描述输入规模增大时的趋势,不直接给出运行秒数。具体耗时还受硬件、数据排列、解释器和库实现影响。向量化常能减少逐项处理的额外开销,但不自动改变同一计算的复杂度量级,也可能增加中间存储需求。

4.2 二分查找的预处理成本

如果输入无序,只查询一次,先排序再查找未必比直接扫描更合适。相同数据需要多次查询时,排序结果可以复用,但仍应分别统计预处理与查询成本。

二分定位还需要区分“可以插入的位置”和“已经找到的位置”。插入位置可能位于序列末尾,也可能对应另一个值。

print(bisect_left(values, 80))  # 2:插入位置,不表示已找到 80

4.3 计时的可重复性

性能测量应固定输入、计时范围和运行环境,并重复多次。对于耗时很短的操作,可以连续执行多次,再计算每次操作的平均耗时,以减轻计时调用本身的影响。

下面分别测量最大值查找、排序和已经排好序后的查找。三者完成不同任务,测量重点是观察各自随规模增长的变化,不据此评选一个通用的“最快算法”。

小数据上的测量容易受到固定开销和系统调度影响。大数据突然变慢时,还应检查内存分配、缓存和系统负载。性能结论需要结合增长趋势与重复测量解释。

五、综合分析与结论说明

5.1 月度销售的独立预期

与主篇使用同一组虚构记录:2025 年 12 月 5 日营业额为 100 元,12 月 20 日为 150 元,2026 年 1 月 8 日为 200 元,3 月 2 日为 300 元。已记录金额合计为 750 元;十二月为 250 元,一月为 200 元,三月为 300 元。

二月没有记录,缺口应得到保留。只有在业务确认数据完整,并明确约定“没有交易记录即营业额为零”时,才可以据此填零。已记录金额合计也不能自动解释为整个期间的实际营业额。

这组记录不能支持“连续逐月增长”:一月低于上年十二月,二月缺失,三月高于已观测的一月。有关增长原因和季节规律,需要更长时间范围与其他证据。

5.2 从统计到解释

一份简明分析可以依次说明对象与范围、计算口径、主要统计事实、支持图形,以及限制和待验证问题。模拟数据还应交代生成方式,避免把预设关系解释为现实规律。

季度分析可以扩展气温实例,但季度与季节需要区分。一至三月属于第一季度;按气象季节解释时,还需要考虑地区及季节划分。

完成分析后,应能够说明每个统计量使用了哪些记录、图形表达了什么关系,以及哪些问题仍无法由现有数据回答。

小结

均值、方差、分位数和相关系数各有计算前提。通过手算核对、模拟绘图和重复计时,可以检查统计口径、图形尺度与算法成本;保留样本范围和时间缺口,使分析结论与数据证据保持一致。

“点赞有美意,赞赏是鼓励”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普公开表示:此次中国之行机场欢迎仪式场面盛大又美丽,展现出了极大的尊重,我对此心怀感激

特朗普公开表示:此次中国之行机场欢迎仪式场面盛大又美丽,展现出了极大的尊重,我对此心怀感激

吉刻新闻
2026-11-19 10:41:59
54岁陶虹久违露面,身形壮硕体态松弛,五官面相完全认不出

54岁陶虹久违露面,身形壮硕体态松弛,五官面相完全认不出

清欢无事
2026-11-17 23:35:34
世界第1的赵心童抽到第122位,世界第16的常冰玉要打德比

世界第1的赵心童抽到第122位,世界第16的常冰玉要打德比

小青年渌渌
2026-11-19 11:49:40
程英生了一个儿子叫什么?此人名气大、武功高,张三丰都没有把握赢他

程英生了一个儿子叫什么?此人名气大、武功高,张三丰都没有把握赢他

金宝哥讲故事
2026-11-13 00:30:11
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
机动车年检大局已定?2027正式实施,私家车年审或面临3大变化?

机动车年检大局已定?2027正式实施,私家车年审或面临3大变化?

云霄纪史观
2026-11-20 00:56:06
娃哈哈代工厂48小时免职207人,大规模人事变动疑云丛生丨大象财富

娃哈哈代工厂48小时免职207人,大规模人事变动疑云丛生丨大象财富

大象新闻
2026-11-19 18:43:03
从碾压安踏李宁,到月亏过亿:曾经的运动品牌顶流,到底错在哪?

从碾压安踏李宁,到月亏过亿:曾经的运动品牌顶流,到底错在哪?

一些小事
2026-10-01 20:27:33
欢迎晚宴合影期间,普京和特朗普互动握手

欢迎晚宴合影期间,普京和特朗普互动握手

每日经济新闻
2026-11-19 20:43:37
降温后才发现:上海满街不穿羽绒服了,都在穿“奶奶棉服”,轻薄显贵

降温后才发现:上海满街不穿羽绒服了,都在穿“奶奶棉服”,轻薄显贵

全球时尚
2026-11-18 23:49:24
英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

子芫伴你成长
2026-11-19 00:05:10
不可思议!异地相亲奔现第一天,男生要求女生同住遭拒后提分手,直言“奔现一次花费近两千,不划算”

不可思议!异地相亲奔现第一天,男生要求女生同住遭拒后提分手,直言“奔现一次花费近两千,不划算”

火山詩话
2026-11-18 07:46:48
11岁的关凌认识了28岁的姬云飞,整整17岁的年龄差,所有人都觉得俩人这辈子不会有交集,没想到,关凌最终还是嫁给了他!

11岁的关凌认识了28岁的姬云飞,整整17岁的年龄差,所有人都觉得俩人这辈子不会有交集,没想到,关凌最终还是嫁给了他!

LULU生活家
2026-11-19 19:30:09
泽连斯基回应特朗普访华

泽连斯基回应特朗普访华

凤凰卫视
2026-11-19 11:02:03
媒体:兰州狱警殴打服刑者致死案再审一审宣判,四狱警分别获刑

媒体:兰州狱警殴打服刑者致死案再审一审宣判,四狱警分别获刑

不惯着
2026-11-19 11:31:54
贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

蓝鲸新闻
2026-11-19 16:25:03
招商引资的“杀猪盘”:撤股三年后,外商如何被法院精准“收网”

招商引资的“杀猪盘”:撤股三年后,外商如何被法院精准“收网”

有戏
2026-11-11 08:36:23
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

林杰论事
2026-10-20 01:09:25
冷知识!全世界最不该统一的国家,居然成了世界第四人口大国!

冷知识!全世界最不该统一的国家,居然成了世界第四人口大国!

墨策史
2026-11-12 01:05:03
英伟达叫停H200对华供货,外交部亮明立场,不再和美国多费口舌

英伟达叫停H200对华供货,外交部亮明立场,不再和美国多费口舌

墨子翟的日记y
2026-11-19 12:11:53
2026-11-20 02:24:49
MediaTea
MediaTea
专业的数字媒体、新媒体技术
2322文章数 85关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
旅游
数码
公开课
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版