统计量把多条记录概括为少数数字,图形把数值关系转化为可观察的模式。概括过程中可能遗漏细节,图形也可能因统计口径或坐标尺度产生误导。进一步理解计算依据、样本范围与算法前提,有助于检查大模型生成的分析代码,并准确解释结果。
通过手算核对、模拟数据和重复测量,可以观察统计量如何形成、图形如何变化,以及数据规模如何影响计算。每个实例都应先明确预期,再运行检查,使分析过程与结论相互对应。
一、分析问题与统计口径
1.1 均值与中位数
数据为 2、4、6、8 时,均值为 5。排序后中间两项为 4 与 6,中位数同样为 5。均值利用所有数值,中位数由排序后的中间位置确定,两者可以从不同角度概括数据的中心。
若把 8 改成 80,均值变为 23,中位数仍为 5。少数极端值可能明显改变均值。对于收入、时长等容易出现长尾的数据,联合报告均值、中位数和分布,有助于理解差异。
众数(Mode)是出现次数最多的值,可以不唯一。测量值经过四舍五入后,重复次数可能改变,众数也可能随之变化。因此,应说明统计精度,并保留并列结果。
print(values.mode().tolist()) # [2, 4],两个并列众数1.2 方差的两种分母
对 2、4、6、8,离均值 5 的偏差为 −3、−1、1、3,偏差平方和为 20。若这四个数就是所要描述的全部对象,以 4 为分母,方差为 5;若将它们看作来自更大总体的样本,常用样本方差以 3 为分母,结果约为 6.667。
样本均值由同一批数据估计,偏差和为零,最后一个偏差由其余偏差决定,因此只有 n − 1 个可以独立变化的偏差。在独立同分布且总体方差有限等条件下,以 n − 1 为分母得到总体方差的无偏估计。“无偏”描述重复抽样下的平均性质,不保证每次估计都等于总体方差。
标准差是方差的平方根,与原数据具有相同量纲。方差的无偏性不会自动传递给开平方后的标准差。选择分母时,应说明是在描述给定数据,还是估计更大总体的变异程度。
1.3 分位数的线性插值
分位数(Quantile)描述排序后不同位置对应的数值。一种常见方法使用从零开始的位置,先计算 h,再在相邻观测值之间进行线性插值。设排序后的数据为 x₍₀₎、…、x₍ₙ₋₁₎,p 为零至一之间的分位比例:
当 h 为最后一个位置时,直接取最大值。对 2、4、6、8,第一四分位数的位置为 0.75,在 2 与 4 之间插值得到 3.5;第三四分位数为 6.5,四分位距为 3。
分位数有不同计算约定,小样本中的差异尤其容易观察。比较不同工具的结果时,应先统一方法,再判断计算是否一致。
二、统计实现与变量关系
2.1 皮尔逊相关系数的构成
皮尔逊相关系数(Pearson Correlation Coefficient)衡量成对数值变量的线性关系。设两组观测的均值分别为 x̄、ȳ,且两组都具有非零变异,则:
分子综合两组数值偏离各自均值时的共同变化,分母将其按各自的波动尺度归一化。若某组数值完全相同,分母为零,相关系数未定义。计算前还需确认每一对数值来自同一个观测对象,并排除缺失或非有限的配对。
取 x 为 1、2、3,y 为 2、4、6。两组偏差分别为 −1、0、1 和 −2、0、2,分子为 4,分母也为 4,因此相关系数为 1。
2.2 线性关系与因果解释
相关系数接近零,仍可能存在明显的非线性关系;相关系数接近 1 或 −1,也不能单独证明因果关系。共同原因、样本选择和数据生成方式都可能影响结果。
第三章将按照“数学成绩乘以一个系数,再加随机波动”的方式生成英语模拟成绩。两者出现正相关,部分来自预先规定的生成关系,不能作为数学学习促进英语成绩的真实证据。
不宜把固定阈值机械地用于所有领域。解释相关程度时,应同时考虑样本量、测量误差、变量范围和散点分布。
print(r) # 0.0,y 仍完全由 x 的平方决定2.3 公式与计算核对
独立核验可以把手算结果、按定义实现的步骤和库函数结果进行对照。检查内容既包括数值,也包括样本量、分母、插值方法和相关系数的定义条件。
print("均值、方差、分位数与相关系数核验通过")三、图形表达与准确呈现
3.1 气温示例的完整数据构造
为十二个月分别设定模拟温度的均值参数,以 3 ℃ 为标准差,每月随机生成 30 条记录,共 360 条。随机样本的实际月均值通常与设定参数略有差异。
这种构造用于观察趋势与波动,不对应某城市某年的真实逐日气象记录。每月固定 30 条也不符合真实公历,因此记录使用月内样本编号,不赋予实际日期。
# 实际样本均值和标准差不必恰好等于生成参数3.2 五类图的判断依据
折线图对应时间等有序自变量;柱状图比较类别数值;散点图展示两个数值变量的关系;饼图表现互不重叠的类别在同一整体中的份额;直方图按数值区间汇总频数。
柱状图的柱对应类别,直方图的柱对应数值区间。直方图的分箱边界会影响分布外观;使用频数比较时,通常采用等宽分箱。采用不同箱宽时,应明确高度表示频数还是密度,避免误读。
百分比图需要明确分母和分类是否覆盖整体。多选题中,各选项人数分别除以答题人数,比例相加可能超过 100%,通常不适合直接画成表示一个整体的饼图。
箱线图可以补充分位数信息。箱体通常从第一四分位数延伸到第三四分位数,箱内线表示中位数;须线和单独标记点的规则需要说明。常见的 1.5 倍四分位距规则只提供异常候选,不能自动证明数据错误。
![]()
图 3-1:占比、分布与箱线图的比较
3.3 从数据到图形
图形应与同一组数据的统计结果对应。模拟气温用于观察月份变化,模拟成绩用于观察预设关系,独立的类别计数用于比较份额,三者的样本范围需要分别说明。
# 每次新建目录,不覆盖已有结果;目录不会自动删除3.4 图形解释练习
比较图形时,可以保持同一组数据不变,只调整分箱或坐标范围,从而观察视觉差异来自哪里。若改变了输入记录,则应同时报告改变依据、前后样本量和统计值。
下面的删点操作只用于观察结果敏感性,不构成正式分析中的删除理由。
# 原数据保留;最高分并不自动属于错误数据四、算法效率与数据规模
4.1 线性、对数与排序工作量
在没有额外索引或已有最大值信息的无序列表中查找最大值,需要检查全部元素,工作量随元素个数线性增长。归并排序、堆排序等比较排序算法的最坏时间复杂度为线性对数量级;在支持常数时间位置访问的有序序列上,二分查找的比较次数按对数量级增长。
最 大 值 查 找 归 并 排 序 或 堆 排 序 二 分 查 找
这些量级描述输入规模增大时的趋势,不直接给出运行秒数。具体耗时还受硬件、数据排列、解释器和库实现影响。向量化常能减少逐项处理的额外开销,但不自动改变同一计算的复杂度量级,也可能增加中间存储需求。
4.2 二分查找的预处理成本
如果输入无序,只查询一次,先排序再查找未必比直接扫描更合适。相同数据需要多次查询时,排序结果可以复用,但仍应分别统计预处理与查询成本。
二分定位还需要区分“可以插入的位置”和“已经找到的位置”。插入位置可能位于序列末尾,也可能对应另一个值。
print(bisect_left(values, 80)) # 2:插入位置,不表示已找到 804.3 计时的可重复性
性能测量应固定输入、计时范围和运行环境,并重复多次。对于耗时很短的操作,可以连续执行多次,再计算每次操作的平均耗时,以减轻计时调用本身的影响。
下面分别测量最大值查找、排序和已经排好序后的查找。三者完成不同任务,测量重点是观察各自随规模增长的变化,不据此评选一个通用的“最快算法”。
小数据上的测量容易受到固定开销和系统调度影响。大数据突然变慢时,还应检查内存分配、缓存和系统负载。性能结论需要结合增长趋势与重复测量解释。
五、综合分析与结论说明
5.1 月度销售的独立预期
与主篇使用同一组虚构记录:2025 年 12 月 5 日营业额为 100 元,12 月 20 日为 150 元,2026 年 1 月 8 日为 200 元,3 月 2 日为 300 元。已记录金额合计为 750 元;十二月为 250 元,一月为 200 元,三月为 300 元。
二月没有记录,缺口应得到保留。只有在业务确认数据完整,并明确约定“没有交易记录即营业额为零”时,才可以据此填零。已记录金额合计也不能自动解释为整个期间的实际营业额。
这组记录不能支持“连续逐月增长”:一月低于上年十二月,二月缺失,三月高于已观测的一月。有关增长原因和季节规律,需要更长时间范围与其他证据。
5.2 从统计到解释
一份简明分析可以依次说明对象与范围、计算口径、主要统计事实、支持图形,以及限制和待验证问题。模拟数据还应交代生成方式,避免把预设关系解释为现实规律。
季度分析可以扩展气温实例,但季度与季节需要区分。一至三月属于第一季度;按气象季节解释时,还需要考虑地区及季节划分。
完成分析后,应能够说明每个统计量使用了哪些记录、图形表达了什么关系,以及哪些问题仍无法由现有数据回答。
小结
均值、方差、分位数和相关系数各有计算前提。通过手算核对、模拟绘图和重复计时,可以检查统计口径、图形尺度与算法成本;保留样本范围和时间缺口,使分析结论与数据证据保持一致。
“点赞有美意,赞赏是鼓励”
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.