网易首页 > 网易号 > 正文 申请入驻

微信突然出BUG!那种资源全被看光,目前无解

0
分享至

微信最近动作频频,除了日常的更新功能上新,小雷还发现了一个「漏洞」。

微信居然放开限制,把自己的robots.txt文件给移除了...

事情是这样的,小雷因为工作(摸鱼)需要,经常要在各大搜索引擎辗转,以求搜到自己想要的资料。

如果是英文资源还好说,海外的网页适用性依然很强,用谷歌和bing等搜索引擎,一般都能搜到结果。


但如果要搜的是中文资源,不好意思,搜索突然就不好用了。

即使是像百度、谷歌和bing这种顶级搜索引擎,也难以施展拳脚。

想要搜到自己需要的东西,估计是越来越难喽。


不过奇怪的是,而搜索引擎本身并无大改,抓取规则和原理都沿袭多年,期间也就小修小补。

为啥现在就不好使了呢?

小雷想说,这确实不是搜索引擎的锅,都怪软件厂商们画了个圈圈,把自己围起来了。


举个简单的例子,微信公众号的文章相比某些平台,整体质量确实要更高。

但是嚯,你能在百度和谷歌搜到微信公众号和今日头条的文章吗?

搜不到吧,很蓝的啦。

原因其实很简单,平台不允许搜索引擎去爬取它们的文章和其他内容了。

再强的搜索引擎也得靠网络蜘蛛去爬取信息,当平台建起一堵墙,就能轻易把第三方搜索隔绝开来。


大伙也别以为这堵墙有多高技术含量,其实就靠小雷开头提到的robots.txt文件。

这个简单的文件,里面包含了一系列规则,它会告诉搜索引擎,哪些页面可抓取,哪些页面又不能抓取。

要是规则一片空白,就别怪搜索引擎一顿搜刮了。

反之,如果规则清晰明了,写着“禁止读取”,搜索引擎自然会识趣溜走。


喏,微信就在网站“weixin.qq.com”的根目录中放置了这个文件,并写上自己的规则。

而小雷通过互联网档案馆看了一下,微信的规则比较狠,直接在末尾写上一条“Disallow:/”。

给小伙伴们翻译一下,这规则的意思是,不让其他搜索引擎爬取微信任何文章...

这就能解释,为啥搜索引擎搜不到微信文章了。(搜狗是自家人,不计在内)


不过要说起来啊,robots.txt算不上是规范,只是搜索引擎和网站们达成的一项约定。

像谷歌、百度和bing等大厂出品的搜索引擎,一般都会遵守约定,但新推出的搜索引擎就不一定讲武德了。

毕竟刚出生的搜索引擎资源匮乏,只能搞点非常规手段,去收录更多内容,这一点小雷会放在后面聊。

该聊的重点,咱们得适当加速,提前摊开来讲。


而这个重点嘛,正是小雷开头提到的「微信robots.txt漏洞」。

搜索引擎一直无法收录微信文章内容,全因为那戒备森严的robots.txt。

但从昨晚到今天中午,微信的robots文件突然出现“404无法访问”。


这就给搜索引擎们提供了绝佳的爬取机会。

小雷从Google看到,目前谷歌搜索已经收录了135万篇微信文章。

虽然总量不多,但这波操作属实让人浮想联翩。


要么是微信出BUG,不小心把robots.txt删掉了,要么是微信要开放自家生态,造福中文互联网。

考虑到最近官方出手,让腾讯和阿里取消链接屏蔽,还有淘宝上线微信支付等操作...

微信放开内容生态,好像还真有搞头嚯?

害,别怪小雷给大伙泼冷水,这几乎是不太可能的事儿,多半是微信出BUG,把robots整没了。


要知道,公众号内容可是微信培养多年的王牌之一,玩得好好的,完全没必要向外界开放。

而且小雷对这事儿也经过了排查,现在只有谷歌和必应两大国外搜索引擎收录了微信文章。

作为中文互联网最强搜索引擎的百度,反倒是啥也没有,明显不符合逻辑。


于是,小雷在今天下午又访问了一下微信公众号的robot.txt文件。

发现这文件果然回来了...

域名:https://mp.weixin.qq.com/robots.txt


没过多久,微信也出来回应:因为最近平台技术升级,导致robots协议出现了漏洞。

如今robots.txt能正常访问,说明漏洞已经被补上。

这事儿闹的,小雷也不知道该咋评价了。

一方面,小雷其实挺希望各家平台能放开搜索限制,让搜索引擎变得更好用。

所以在知道微信robots文件被删除后,小雷还兴奋了好一会儿,感叹平台之间的壁垒终于要被打破了。

但另一方面,搜索引擎其实也在吃内容平台的红利,互相竞争的对手,怎么会轻易相互开放。


还是拿微信和今日头条两大内容平台来说。

微信凭借超过10亿的用户量让公众号迅速起飞,并以搜狗为搜索基础,建立起属于自己的内容生态。

说白了,大伙想搜微信的文章,只能去搜狗搜索那里搜。

而今日头条也凭借着强大的算法推荐,成为了网友们获取资讯的首选平台。

在拥有了足够了数据和用户后,今日头条也像微信那样,做起了自己的搜索。


就连限制都和微信差不多,百度是无法搜索到今日头条任何内容的。

虽然平台拥有了自己的搜索引擎后,能让用户更方便地检索信息。

但最主要的,还是想把握住搜索引擎这个巨大的流量入口。

这种操作,又俗称为互联网版自力更生,自己做饭吃,让其他搜索引擎无饭可吃...


最要命的是,这已经成为了国内移动互联网的趋势。

从“取消网页版,强制用户跳转到App”,再到“自建搜索引擎”,大厂们都在流量做出了自己的策略。


其中原地画圈,禁止外人进入这种操作最为常见。

对平台自身的发展肯定是好事儿,但也确实苦了咱们这些没得选择的老网民。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“凭什么卖Bin,买Theshy”,焕烽怒斥:因为Bin,我才低价续约

“凭什么卖Bin,买Theshy”,焕烽怒斥:因为Bin,我才低价续约

话说小王子
2021-12-07 23:58:24
被命令击沉希腊军舰,土耳其海军公然抗命,安卡拉有兵变危险

被命令击沉希腊军舰,土耳其海军公然抗命,安卡拉有兵变危险

音影幻樱
2021-12-07 10:57:31
怎么去看唐湘龙和赵少康这样的人?

怎么去看唐湘龙和赵少康这样的人?

湾湾视野
2021-12-07 22:46:18
女乒新增积分前六出炉,孙颖莎领先第二陈梦975分,伊藤增分挺可怜

女乒新增积分前六出炉,孙颖莎领先第二陈梦975分,伊藤增分挺可怜

乒乓看世界
2021-12-08 06:10:18
世界名人的入狱照,让人大开眼界,德普竖中指、比尔盖茨仍微笑

世界名人的入狱照,让人大开眼界,德普竖中指、比尔盖茨仍微笑

街头杂谈所见
2021-12-07 17:13:41
阿里巴巴集团发布重要公告

阿里巴巴集团发布重要公告

每日经济新闻
2021-12-07 00:32:08
换届!朱芳雨,入主中国篮协?姚明,或力不从心。球迷:众望所归

换届!朱芳雨,入主中国篮协?姚明,或力不从心。球迷:众望所归

篮球资讯领航员
2021-12-08 00:04:54
快讯|世纪联华和平店全员核酸检测

快讯|世纪联华和平店全员核酸检测

钱江晚报
2021-12-08 09:32:44
从顶流到失德艺人,她只用了2个月

从顶流到失德艺人,她只用了2个月

蝉创意
2021-12-08 00:53:58
武器到底有多大 别被照片蒙了眼

武器到底有多大 别被照片蒙了眼

军武研究员
2021-12-08 07:15:02
特斯拉手机要来了,苹果吓了一跳!Model π 打得过iPhone N 吗?

特斯拉手机要来了,苹果吓了一跳!Model π 打得过iPhone N 吗?

财闻汇评
2021-12-07 17:29:07
台湾省能耐了,找别国麻烦,其总理愤怒咆哮,大陆必须出面,丢人

台湾省能耐了,找别国麻烦,其总理愤怒咆哮,大陆必须出面,丢人

新财迷
2021-12-08 09:25:53
那一年,刘銮雄派18名保镖送神志不清的罗兆辉返港,其中有何内情

那一年,刘銮雄派18名保镖送神志不清的罗兆辉返港,其中有何内情

BenSir本色说
2021-12-08 03:32:43
满足身材控的想象!东欧美女艺术家Neringa Kriziute

满足身材控的想象!东欧美女艺术家Neringa Kriziute

水墨风情
2021-12-08 04:00:24
iOS凌晨迎来更新,正式版还会远吗?多项功能新增、同时修复bug

iOS凌晨迎来更新,正式版还会远吗?多项功能新增、同时修复bug

极酷数码客
2021-12-08 10:09:21
盲目迷信大城市,没有选择985兰州大学,大一上了半学期想要退学

盲目迷信大城市,没有选择985兰州大学,大一上了半学期想要退学

唐戈
2021-12-07 17:21:07
欧冠太刺激:8场30球,6张红牌!悲剧球队诞生,5-0狂胜出局

欧冠太刺激:8场30球,6张红牌!悲剧球队诞生,5-0狂胜出局

叶青足球世界
2021-12-08 07:02:16
俄罗斯出卖中国?俄印首脑会谈,俄海军将在远东为印军舰提供补给

俄罗斯出卖中国?俄印首脑会谈,俄海军将在远东为印军舰提供补给

军武谈
2021-12-06 19:03:47
寒冬将至阿富汗面临缺电,阿媒:阿塔与中国伊朗谈判电力采购

寒冬将至阿富汗面临缺电,阿媒:阿塔与中国伊朗谈判电力采购

环球时报评论
2021-12-07 20:39:57
勇士要爆冷?落后10分到反超7分!库里3记三分爆发,替补奇兵2中2

勇士要爆冷?落后10分到反超7分!库里3记三分爆发,替补奇兵2中2

体育插班生
2021-12-07 11:37:33
2021-12-08 12:16:49
雷科技
雷科技
雷科技,聚焦科技与生活。
21727文章数 708200关注度
往期回顾 全部

科技要闻

砸数学家:又有4位世界顶级大牛参与华为工作

头条要闻

德新政府8日正式上台 默克尔时代结束:想回家种马铃薯

头条要闻

德新政府8日正式上台 默克尔时代结束:想回家种马铃薯

体育要闻

双双梅开二度!梅西姆巴佩激情相拥

娱乐要闻

她准备生二胎了?

财经要闻

汽车要闻

车上每个人都是主角 全新奥德赛提升驾乘品质

态度原创

教育
时尚
手机
健康
军事航空

教育要闻

教育部:对师德失范影响恶劣教师 实行教育全行业禁入

顶流风波之后,男演员面临什么?

手机要闻

曝小米核心员工不用自家手机?高管回应:假的!

考试季将至 北京考生考前非必要不离京

军事要闻

075海南舰南海考核登陆作战!气垫船出动