网易首页 > 网易号 > 正文 申请入驻

Python-csvkit:强大的CSV文件命令行工具

0
分享至

如果你在学Python数据处理,一定对CSV文件不陌生。日常本地数据存储中,除了Excel文件外,大部分数据都是以CSV文件格式保存的。

CSV(Comma-Separated Values)是一种文本文件,也叫作逗号分隔值文件格式。顾名思义,它就是用来保存纯文本,被分隔符分隔为多个字段。

CSV文件能够被Excel、notepad++、Java、Python等各种软件读取,非常方便。

因为它结构简单、易传输、易读取的特性,使其广受个人和商业领域欢迎。

在Python中,可以使用read函数、pandas库、csv库等读写CSV文件,而且这些也是常用的方法。

这次给大家介绍一个非常强大的第三方库-csvkit,它是专门处理CSV文件的命令行工具,可以实现文件互转、数据处理、数据统计等,十分便捷。

因为csvkit是Python第三方库,我们直接使用pip来安装csvkit。

pip install csvkit

csvkit是命令行工具,所以代码都在命令行执行,下面列举一些常见的使用场景。

我们先在本地保存一个Excel表(DoubanMovie),其内容是豆瓣电影数据。

注意命令行地址要切换到该表所在位置。

比如我放在E:\csvkit_tutorial\里面,可以用下面命令来切换。

E:
cd csvkit_tutorial
1、Excel转CSV

csvkit支持将Excel等其他数据文件转化为CSV文件,使用in2csv命令实现。

in2csv DoubanMovie.xlsx > DoubanMovie.csv

除了Excel的xlsx和xls文件外,你还可以对下面多种数据格式进行CSV的转换

包括:dbf , fixed , geojson , json , ndjson

2、对SQL数据库进行读写和查询操作

从MySQL数据库中读取一张表存到本地CSV文件中,使用csvsql命令实现。

csvsql --db "mysql://user:pass@host/database?charset=utf8" --tables "test1" --insert test1.csv

直接对MySQL数据库进行数据查询,使用sql2csv命令实现

sql2csv --db "mysql://user:pass@host/database?charset=utf8" --query "select * from test2"

注意代码中--db参数后面需要输入数据库的信息,用于连接数据库。

3、将CSV文件转换为Json格式

除了将Json文件转化为CSV格式外,csvkit也支持将CSV文件转化为Json格式,使用csvjson命令实现。

csvjson test.csv

如果你是做地理空间分析,还可以将csv文件转化为GeoJson格式。

4、数据处理和分析

csvkit中还有用于数据处理分析的命令,如下:

  • csvcut:对数据进行索引切片

  • csvgrep:对数据进行过滤,可按照正则表达式规则

  • csvjoin:对不同数据表按键进行连接

  • csvsort:对数据进行排序

  • csvstack:将多个数据表进行合并

  • csvlook:以 Markdown 兼容的固定宽度格式将 CSV 呈现到命令行

  • csvstat:对数据进行简单的统计分析

小结

csvkit适合那些经常处理CSV文件的小伙伴,可快速的进行转化、清晰、分析等任务。特别当你的文件较大,一般软件难以打开时,csvkit的速度绝对会让你惊艳到。

学习文档:https://csvkit.readthedocs.io/en/latest/index.html

万水千山总是情,点个 行不行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
赶在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空?

赶在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空?

看尽落尘花q
2026-11-17 17:37:25
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
一个90多岁的老太太,脚上蹬着15块钱的破鞋,住着武汉不起眼的小院,却一口气捐了1000万。

一个90多岁的老太太,脚上蹬着15块钱的破鞋,住着武汉不起眼的小院,却一口气捐了1000万。

回京历史梦
2026-11-10 17:50:30
心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理观察局
2026-07-23 06:05:08
高速费大局定了?要是不出意外,2027年起高速费或迎来3大变化

高速费大局定了?要是不出意外,2027年起高速费或迎来3大变化

混沌录
2026-11-16 22:35:52
袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

文史达观
2026-11-15 22:11:09
约翰逊称,结束俄乌战争的唯一有效途径 是西方明确支持乌加入北约

约翰逊称,结束俄乌战争的唯一有效途径 是西方明确支持乌加入北约

泪满过眼
2026-11-17 03:25:05
川渝美女黑老大祸害300多名妇女,作案手段残忍,临刑前竟拒不认罪

川渝美女黑老大祸害300多名妇女,作案手段残忍,临刑前竟拒不认罪

悬疑故事屋
2026-11-17 13:40:21
黄仁勋正在考虑复职!新加坡亿万富豪:没有老黄,不会再有进一步投资

黄仁勋正在考虑复职!新加坡亿万富豪:没有老黄,不会再有进一步投资

新加坡椰子
2026-11-16 18:53:27
俄乌出现新交易设想:美国提出以乌方从顿巴斯撤军,换取乌克兰加入北约

俄乌出现新交易设想:美国提出以乌方从顿巴斯撤军,换取乌克兰加入北约

澎湃新闻
2026-11-14 20:36:59
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
黄仁勋倒下后,对他下手最狠的,竟是之前把他吹上天的那个人

黄仁勋倒下后,对他下手最狠的,竟是之前把他吹上天的那个人

酒话醉人
2026-11-16 15:29:39
射阳7个月蚀退120米,江苏海岸会被吞没吗?

射阳7个月蚀退120米,江苏海岸会被吞没吗?

黑哥讲现代史
2026-11-17 07:20:47
仅30岁!浙江30岁美女不幸去世,临终靠冰块止痛,太让人心疼!

仅30岁!浙江30岁美女不幸去世,临终靠冰块止痛,太让人心疼!

川渝视觉
2026-11-17 08:38:41
76人12胜3负创纪录,恩比德37+5两点该夸!詹姆斯该开心,纳斯要重用一人

76人12胜3负创纪录,恩比德37+5两点该夸!詹姆斯该开心,纳斯要重用一人

鱼崖大话篮球
2026-11-17 13:09:12
深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

珠三角港
2026-11-14 21:49:30
女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

卡西莫多的故事
2025-10-30 11:33:46
石家庄以北的河北人,为什么不说自己是河北人呢?

石家庄以北的河北人,为什么不说自己是河北人呢?

笔墨V
2026-11-17 05:32:43
“11月就放春节长假”刷屏:不是全国停产,但中小染厂真的扛到了极限

“11月就放春节长假”刷屏:不是全国停产,但中小染厂真的扛到了极限

青科新闻
2026-11-17 11:00:22
创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

捣蛋窝
2026-11-17 17:50:23
2026-11-17 18:52:49
数据不吹牛 incentive-icons
数据不吹牛
趣味+实用数据分析
415文章数 4499关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

教育
艺术
亲子
数码
公开课

教育要闻

带分数除法,巧拆分,不用硬算快速出结果

艺术要闻

21层!库迪咖啡全球总部启用,楼下设超级体验店

亲子要闻

自闭症居家干预,最大的敌人是不允许自己歇

数码要闻

三星下一代DRAM三条路线曝光 混合键合成关键工艺

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版