网易首页 > 网易号 > 正文 申请入驻

Python概率分布指南:4种分布让80%的机器学习问题迎刃而解

0
分享至

数据科学家每天处理的数据,90%都逃不出四种分布的手掌心。但新手常犯的错误是:拿到数据先上模型,连分布长什么样都没看清。

这篇文章用Python代码+真实场景,把概率分布从"课本概念"变成"解题工具"。

离散vs连续:两种世界的游戏规则

数据分两类:能数的和能量的。客户投诉次数、网站点击数——这些整数型的是离散分布。用户停留时长、商品重量——这些可以无限细分的是连续分布

Python里区分很简单:scipy.stats模块中,离散分布用pmf(概率质量函数),连续分布用pdf(概率密度函数)。混用会报错,就像用尺子量体重。

真实案例:某电商分析"每日订单数",发现服从泊松分布(离散)。但分析师误用正态分布拟合,预测结果偏差23%,库存积压损失上百万。

正态分布:为什么自然界偏爱钟形曲线

人的身高、测量误差、智商分数——这些看似无关的数据,都扎堆在正态分布周围。中心极限定理解释了原因:大量独立随机因素叠加,结果必然趋近钟形。

Python生成正态分布只需一行:

from scipy.stats import norm
data = norm.rvs(loc=0, scale=1, size=1000)

参数loc是均值,scale是标准差。这两个数定了,整个分布的形状就锁死了。68-95-99.7法则记住:均值±1个标准差覆盖68%数据,±2个标准差95%,±3个标准差99.7%。

机器学习里的应用:特征标准化(StandardScaler)就是把数据压进标准正态分布。模型对数值范围敏感,归一化后收敛速度提升3-5倍。

PDF与CDF:一个看"密度",一个看"累积"

概率密度函数(PDF)回答:某个点有多"挤"?累积分布函数(CDF)回答:小于这个值的概率是多少?

打个比方:PDF是海拔高度图,CDF是爬到某高度的累计路程。两者关系是积分/导数,CDF求导得PDF,PDF积分得CDF。

Python实战——计算用户消费金额的90%分位数:

from scipy.stats import lognorm
# 假设消费数据服从对数正态分布
dist = lognorm(s=0.5, scale=100)
threshold = dist.ppf(0.9) # 约205元

运营团队拿到这个数字:90%用户单次消费低于205元,超出的10%是重点运营对象。PDF/CDF把"感觉"变成"阈值"。

机器学习里的分布思维

线性回归假设残差正态分布, violated时考虑对数变换或广义线性模型。朴素贝叶斯直接假设特征条件独立且服从特定分布,选错分布模型就崩。

异常检测更依赖分布:用历史数据拟合正态分布,新数据落在3σ外的概率仅0.3%,触发告警。这比固定阈值聪明——业务波动大时自动放宽,平稳时收紧。

一个细节:A/B测试的p值计算,本质是假设检验下的分布比较。两组转化率差异是否显著,看的是抽样分布的重叠程度。

读完这篇,你手头那份数据——先画直方图,再拟合分布,最后才选模型?还是直接fit()

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宣示与民进党强力竞争!郑丽文重话警告“台独”,吁美弃“第一岛链”

宣示与民进党强力竞争!郑丽文重话警告“台独”,吁美弃“第一岛链”

海峡导报社
2026-05-11 10:44:05
国乒女队夺冠57万,奖金分配:莎莎20万王曼昱14万蒯曼6万

国乒女队夺冠57万,奖金分配:莎莎20万王曼昱14万蒯曼6万

刘笤说体坛
2026-05-11 09:07:41
美媒:雄鹿&维拉老板艾登斯与46岁华裔女子发生性关系,女方勒索12亿美元

美媒:雄鹿&维拉老板艾登斯与46岁华裔女子发生性关系,女方勒索12亿美元

懂球帝
2026-05-11 09:41:18
不止吃药停经!女宇航员在太空,如何解决生理需求?保护隐私?

不止吃药停经!女宇航员在太空,如何解决生理需求?保护隐私?

枫尘余往逝
2026-05-11 09:34:12
塞尔主持:姆巴佩可能以为皇马是主队2-0领先,才发了Hala Madrid

塞尔主持:姆巴佩可能以为皇马是主队2-0领先,才发了Hala Madrid

懂球帝
2026-05-11 12:09:08
张雪机车发布安全隐患公告, 旅狼500RR/500F车主可享三项免费维保服务

张雪机车发布安全隐患公告, 旅狼500RR/500F车主可享三项免费维保服务

界面新闻
2026-05-11 09:20:57
央视“砍价”2026年世界杯:天价转播权为何遇冷

央视“砍价”2026年世界杯:天价转播权为何遇冷

每日经济新闻
2026-05-10 20:56:18
我要被武汉大学笑死了

我要被武汉大学笑死了

林中木白
2026-05-10 20:13:05
是谁在偷换了世界杯转播权之争的逻辑?

是谁在偷换了世界杯转播权之争的逻辑?

鲁先生的笔
2026-05-10 21:12:47
太冷血了!老父突发心梗离世,儿子10分钟签字拔管、一日办完丧事

太冷血了!老父突发心梗离世,儿子10分钟签字拔管、一日办完丧事

火山詩话
2026-05-11 10:31:40
抖音第二总部来了,长得像“海湾石瀑”太惊艳!

抖音第二总部来了,长得像“海湾石瀑”太惊艳!

GA环球建筑
2026-05-11 09:07:25
中国政府奖学金留学人员抵达平壤,正式开启在朝留学生活

中国政府奖学金留学人员抵达平壤,正式开启在朝留学生活

大风新闻
2026-05-11 08:36:09
蒋友青硬刚蒋万安:“改姓换不来入场券”,父子这回脸可有点疼了

蒋友青硬刚蒋万安:“改姓换不来入场券”,父子这回脸可有点疼了

阿胂是吃瓜群众
2026-05-11 10:33:52
2:3!日本女团惜败国乒,张本美和赛后采访满是心有不甘与心碎!

2:3!日本女团惜败国乒,张本美和赛后采访满是心有不甘与心碎!

田先生篮球
2026-05-10 23:07:16
紫牛头条|儿子车祸受伤生存希望不足0.1%仍绝不放弃!这位母亲生死守护已620天

紫牛头条|儿子车祸受伤生存希望不足0.1%仍绝不放弃!这位母亲生死守护已620天

扬子晚报
2026-05-10 20:20:42
国内砍一刀没人管,海外直接罚3亿多,Temu 给所有电商上了一课

国内砍一刀没人管,海外直接罚3亿多,Temu 给所有电商上了一课

干史人
2026-05-09 15:30:03
张本智和回应遭梁靖崑逆转:一切都怪我,留下了太多遗憾,金牌依然遥不可及,回家好好训练变更强

张本智和回应遭梁靖崑逆转:一切都怪我,留下了太多遗憾,金牌依然遥不可及,回家好好训练变更强

鲁中晨报
2026-05-11 10:18:08
河南酒神醉狼去世,年仅46岁!死因曝光,家徒四壁留下三个女儿!

河南酒神醉狼去世,年仅46岁!死因曝光,家徒四壁留下三个女儿!

阅微札记
2026-05-11 09:40:53
极氪品牌销量、口碑大幅提升!用户关系不是玄学,一个字——诚!

极氪品牌销量、口碑大幅提升!用户关系不是玄学,一个字——诚!

车旅人牛姑娘
2026-05-08 19:52:43
“吓死我了”!今早,大批人收到地震有关短信!广东地震局最新回应

“吓死我了”!今早,大批人收到地震有关短信!广东地震局最新回应

南方都市报
2026-05-11 11:06:04
2026-05-11 15:48:49
固件更新中
固件更新中
有态度网友ytd
3316文章数 31关注度
往期回顾 全部

科技要闻

黄仁勋:你们赶上了一代人一次的大机会

头条要闻

媒体:中美元首即将北京会晤 美方一细节耐人寻味

头条要闻

媒体:中美元首即将北京会晤 美方一细节耐人寻味

体育要闻

那个曾让詹姆斯抱头的兄弟,40岁从大学毕业了

娱乐要闻

“孕妇坠崖案”王暖暖称被霸凌协商解约

财经要闻

"手搓汽车"曝光:伪造证件、电池以旧代新

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

时尚
房产
本地
教育
游戏

衬衫四季都能穿!简约大方适合日常穿搭,配裤子、裙子都好看

房产要闻

低价甩卖!海口这个地标商业,无人接盘!

本地新闻

用苏绣的方式,打开江西婺源

教育要闻

鸡娃放养,都不如养个“晨型人格”的孩子,他会自信又自律

红色沙漠又双叒叕更新了!新坐骑新技能还有海量优化

无障碍浏览 进入关怀版