网易首页 > 网易号 > 正文 申请入驻

如何使用htmlq提取html文件内容

0
分享至


人性化显示HTML:

htmlq能够对 HTML 数据进行 sed 或 grep 操作。我们可以使用 htmlq 搜索、切片和过滤 HTML 数据。让我们看看如何在 Linux 或 Unix 上安装和使用这个方便的工具并处理 HTML 数据。

什么是htmlq?

类似于 ,但用于 HTML。使用 CSS 选择器从 HTML 文件中提取部分内容。在 CSS 中,选择器用于定位我们想要设置样式的网页上的 HTML 元素。例如,我们可以使用此工具轻松提取图像或其他 URL。

htmlq

jq

安装htmlq

首先需要在系统中安装cargo然后使用cargo来安装htmlq:

[root@localhost ~]# yum -y install cargo
[root@localhost ~]# cargo install htmlq

设置可执行的路径

确保将 添加到 PATH 变量中,以便能够使用 export 命令运行已安装的二进制文件:

$HOME/.cargo/bin

[root@localhost ~]# echo 'export PATH="$PATH:$HOME/.cargo/bin"' >> ~/.bash_profile
[root@localhost ~]# . ~/.bash_profile

如何使用 htmlq 从 HTML 文件中提取内容?

下面是使用curl和htmlq的用法:

curl -s url | htmlq '#css-selector'
curl -s url2 | htmlq '.css-selector'
curl -s https://www.linuxprobe.com | htmlq --pretty '#content' | more

让我们找到页面中的所有链接。例如:

[root@localhost ~]# curl -s https://www.linuxprobe.com | htmlq --attribute href a

[root@localhost ~]# curl --silent https://mgdm.net | htmlq --pretty '#posts'

帮助手册

使用下面命令查看帮助页面:

[root@localhost ~]# htmlq --help
htmlq 0.3.0
Michael Maclean

Runs CSS selectors on HTMLUSAGE: htmlq [FLAGS] [OPTIONS] [selector]...FLAGS: -B, --detect-base Try to detect the base URL from the tag in the document. If not found, default to the value of --base, if supplied -h, --help Prints help information -w, --ignore-whitespace When printing text nodes, ignore those that consist entirely of whitespace -p, --pretty Pretty-print the serialised output -t, --text Output only the contents of text nodes inside selected elements -V, --version Prints version informationOPTIONS: -a, --attribute

Only return this attribute (if present) from selected elements -b, --base Use this URL as the base for links -f, --filename

The input file. Defaults to stdin -o, --output

The output file. Defaults to stdoutARGS:

... The CSS expression to select [default: html]

总结

htmlq能够对 HTML 数据进行 sed 或 grep 操作。我们可以使用 htmlq 搜索、切片和过滤 HTML 数据。

本文原创地址:https://www.linuxprobe.com/htmlq-extract-html-content.html

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

人文思辨社
2026-11-16 18:52:29
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
“我希望你死”,黄仁勋被曝在30多名高管的会议上怒斥一位副总裁

“我希望你死”,黄仁勋被曝在30多名高管的会议上怒斥一位副总裁

阿尔卑斯瞭望
2026-11-16 18:49:04
1973 年,上海外国语学院高材生唐凤楼,执意迎娶精神失常的杨丽坤,为双胞胎停药,顺利产子后第三天突然失控,病房里到底发生了什么变故

1973 年,上海外国语学院高材生唐凤楼,执意迎娶精神失常的杨丽坤,为双胞胎停药,顺利产子后第三天突然失控,病房里到底发生了什么变故

磊子讲史
2026-11-16 17:42:24
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
女子新找的情人是猛男,体验感让她满意,2015年想和另1个分手,因20万分手费被杀

女子新找的情人是猛男,体验感让她满意,2015年想和另1个分手,因20万分手费被杀

汉史趣闻
2026-11-16 18:00:18
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

麓谷隐士
2026-11-17 00:05:04
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

头狼追球
2026-11-16 17:53:47
10月70城房价出炉:68个城市同比下降

10月70城房价出炉:68个城市同比下降

地产K线官方
2026-11-16 14:05:13
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
今晚,江苏全省夜查!

今晚,江苏全省夜查!

句容日报
2026-11-16 20:45:52
网传贾玲张小斐澳洲领证,竟然收到一片祝福

网传贾玲张小斐澳洲领证,竟然收到一片祝福

起点人文
2026-11-16 21:39:21
彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

磊子讲史
2026-11-10 15:53:31
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
2026-11-17 04:55:00
孙有匪 incentive-icons
孙有匪
科技
1595文章数 2007关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
游戏
亲子
时尚
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

小伙表示连玩7天《GTA6》 这下PS5可惨了

亲子要闻

宝宝气人但是聪明的4个行为

自骂“烂人”的黄仁勋,冤不冤?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版