千万级数据47秒跑完：这台4GB内存的笔记本怎么做到的

听到"1000万条数据"就条件反射要开Spark集群？作者以前也这样。直到他试了一个叫DuckDB的工具——4GB内存的笔记本，47秒出结果，没集群、没云账单、没YAML配置文件。

这玩意儿是个内存内的分析型数据库。你可以把它理解成SQLite的亲戚，但天生为OLAP场景设计。列式存储、向量化执行，全在内存里跑。安装就一行命令：pip install duckdb pandas。没Docker，没JVM，没配置项。

作者造了个测试数据集：1000万行金融交易记录，包含交易ID、用户ID、金额、地区、品类、欺诈标记和时间戳。数据框占0.78GB内存。

然后上硬菜——一段复杂聚合查询：按地区和品类分组，统计交易笔数、总金额、平均金额、欺诈笔数、欺诈率，再算个95分位数。时间范围限定在2024年3月之后。DuckDB直接对接Pandas数据框，零拷贝。

结果：47.3秒跑完。输出按总金额倒排，West地区BFSI品类以6.24亿交易额登顶，欺诈率0.21%。

三个技术点让它这么快：

列式存储——不读整行，只读查询用到的列。作者这条查询只需要region、category、amount、is_fraud、timestamp五列，其他数据碰都不碰。

向量化执行——批量处理数据，CPU缓存命中率更高，而不是逐行迭代。

零拷贝集成——DuckDB直接消费Pandas数据框，不用来回序列化、导CSV、建临时表。

作者列了几种场景的选型建议：数据在1GB以内、查询复杂、不想运维基础设施——DuckDB很香。数据超过内存、需要实时写入、或者团队已经重度投入Spark生态——那另说。

最后他算了笔账：同样1000万条数据，Spark本地模式启动就要吃2-3GB内存，还没算任务调度开销。BigQuery按查询量计费，跑几次测试查询就能买杯咖啡了。DuckDB的成本是零，以及47秒。

当然有限制。DuckDB是单机的，内存就是天花板。并发写入也不擅长，它主打分析不是事务。但如果你只是想快速验证一个想法、探索一份数据集、或者给笔记本上的机器学习管道做预处理——它可能是你工具箱里缺的那把螺丝刀。

作者放出了完整代码。核心就几行：装包、造数据、注册表、执行SQL。没有 boilerplate，没有"先启动这个再配置那个"。

这大概是数据分析工具的一个趋势：把重型基础设施的复杂度藏起来，让个人开发者用顺手工具就能处理过去需要团队运维的数据量。不是替代大数据平台，而是在合适的地方做减法。

你的下一个千万级数据分析，也许不需要开集群。