网易首页 > 网易号 > 正文 申请入驻

Python-csvkit:强大的CSV文件命令行工具

0
分享至

如果你在学Python数据处理,一定对CSV文件不陌生。日常本地数据存储中,除了Excel文件外,大部分数据都是以CSV文件格式保存的。

CSV(Comma-Separated Values)是一种文本文件,也叫作逗号分隔值文件格式。顾名思义,它就是用来保存纯文本,被分隔符分隔为多个字段。

CSV文件能够被Excel、notepad++、Java、Python等各种软件读取,非常方便。

因为它结构简单、易传输、易读取的特性,使其广受个人和商业领域欢迎。

在Python中,可以使用read函数、pandas库、csv库等读写CSV文件,而且这些也是常用的方法。

这次给大家介绍一个非常强大的第三方库-csvkit,它是专门处理CSV文件的命令行工具,可以实现文件互转、数据处理、数据统计等,十分便捷。

因为csvkit是Python第三方库,我们直接使用pip来安装csvkit。

pip install csvkit

csvkit是命令行工具,所以代码都在命令行执行,下面列举一些常见的使用场景。

我们先在本地保存一个Excel表(DoubanMovie),其内容是豆瓣电影数据。

注意命令行地址要切换到该表所在位置。

比如我放在E:\csvkit_tutorial\里面,可以用下面命令来切换。

E:
cd csvkit_tutorial
1、Excel转CSV

csvkit支持将Excel等其他数据文件转化为CSV文件,使用in2csv命令实现。

in2csv DoubanMovie.xlsx > DoubanMovie.csv

除了Excel的xlsx和xls文件外,你还可以对下面多种数据格式进行CSV的转换

包括:dbf , fixed , geojson , json , ndjson

2、对SQL数据库进行读写和查询操作

从MySQL数据库中读取一张表存到本地CSV文件中,使用csvsql命令实现。

csvsql --db "mysql://user:pass@host/database?charset=utf8" --tables "test1" --insert test1.csv

直接对MySQL数据库进行数据查询,使用sql2csv命令实现

sql2csv --db "mysql://user:pass@host/database?charset=utf8" --query "select * from test2"

注意代码中--db参数后面需要输入数据库的信息,用于连接数据库。

3、将CSV文件转换为Json格式

除了将Json文件转化为CSV格式外,csvkit也支持将CSV文件转化为Json格式,使用csvjson命令实现。

csvjson test.csv

如果你是做地理空间分析,还可以将csv文件转化为GeoJson格式。

4、数据处理和分析

csvkit中还有用于数据处理分析的命令,如下:

  • csvcut:对数据进行索引切片

  • csvgrep:对数据进行过滤,可按照正则表达式规则

  • csvjoin:对不同数据表按键进行连接

  • csvsort:对数据进行排序

  • csvstack:将多个数据表进行合并

  • csvlook:以 Markdown 兼容的固定宽度格式将 CSV 呈现到命令行

  • csvstat:对数据进行简单的统计分析

小结

csvkit适合那些经常处理CSV文件的小伙伴,可快速的进行转化、清晰、分析等任务。特别当你的文件较大,一般软件难以打开时,csvkit的速度绝对会让你惊艳到。

学习文档:https://csvkit.readthedocs.io/en/latest/index.html

万水千山总是情,点个 行不行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

极目新闻
2026-11-16 19:06:52
加拿大总理到深圳了!紧握中方代表秒切热聊模式

加拿大总理到深圳了!紧握中方代表秒切热聊模式

看看新闻Knews
2026-11-16 23:56:58
杜特尔特或老死狱中,中方当着全世界的面,说了一句公道话

杜特尔特或老死狱中,中方当着全世界的面,说了一句公道话

听风看局
2026-11-16 21:07:51
小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小柱解说游戏
2026-11-17 02:50:42
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
欧阳震华谈娱乐圈婚外情,坦言:“哪个男人不想的?想一下而已”

欧阳震华谈娱乐圈婚外情,坦言:“哪个男人不想的?想一下而已”

韩小娱
2026-11-17 11:08:21
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

背包旅行
2026-11-16 09:55:48
彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

磊子讲史
2026-11-10 15:53:31
爱拼才会赢!女网友为带货,各种各样的姿势尽出,也是拼了

爱拼才会赢!女网友为带货,各种各样的姿势尽出,也是拼了

史海流年号
2026-11-17 08:50:34
2027是羊年,俗话说“红羊逢无春,5人要穿红”,是哪5人,为啥要穿?

2027是羊年,俗话说“红羊逢无春,5人要穿红”,是哪5人,为啥要穿?

小谈食刻美食
2026-11-16 16:32:13
今年,是小学最后的辉煌。

今年,是小学最后的辉煌。

经济学教授V
2026-11-17 07:09:31
为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

糊咖娱乐
2026-11-16 18:02:49
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

唠叨说历史
2026-11-16 17:33:29
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
谷歌华人工程师杀妻案再曝怪事!14万美元资金流出存疑,被关期间股票也被卖了

谷歌华人工程师杀妻案再曝怪事!14万美元资金流出存疑,被关期间股票也被卖了

北美省钱快报
2026-11-17 02:30:39
仅79元!魅族入局随身WiFi,杂牌要慌了?

仅79元!魅族入局随身WiFi,杂牌要慌了?

小柱解说游戏
2026-11-17 03:45:09
国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

新游戏大妹子
2026-11-17 13:00:28
不出意外,下半年开始,大米、面粉、食用油或将迎来行业新洗牌?

不出意外,下半年开始,大米、面粉、食用油或将迎来行业新洗牌?

青史卷中人
2026-11-17 03:46:22
港媒曾言:两岸已步入到“准统一”阶段,“西藏模式”更具参考!

港媒曾言:两岸已步入到“准统一”阶段,“西藏模式”更具参考!

起喜电影
2026-11-17 13:10:20
2026-11-17 18:32:49
数据不吹牛 incentive-icons
数据不吹牛
趣味+实用数据分析
415文章数 4499关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

时尚
房产
艺术
教育
军事航空

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

房产要闻

5381亩之后,三亚绿谷,等一个500强!

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

教育要闻

看似容易,想要做对却不容易

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版