首页 / 科技 / 正文

robots协议不是锁,是门口那张“谢绝推销”的纸

前阵子帮朋友看他那个小网站。后台日志刷得飞快,一天几万次访问。来的不是人,是一串串爬虫。

他急得不行:我明明写了 robots 协议啊,怎么还来?

我说,你写的那个东西,就像在门上贴了张纸——谢绝推销。大部分推销员会瞄一眼,绕开。可要是碰上个不认字的,或者压根不在乎的,那张纸能拦得住谁?

它其实是个君子协定,1994 年就有了

1994 年,一个叫 Martijn Koster 的人在邮件列表里提了个想法。那时候爬虫到处乱跑,把网站服务器拖得直喘气,站长们只能一封一封发邮件,求人别爬了。

他提的方案特别朴素:我在网站根目录放一个纯文本文件,写清楚哪些地方别去。你爬之前,先读一下。

居然就这么干成了。一干快三十年。直到 2022 年 9 月,才正式变成一份标准,编号 RFC 9309,全名叫 Robots Exclusion Protocol。

有意思吧——一个全凭自觉的东西,撑了快三十年才拿到“正名”。

几条硬规矩,记一下:

文件名必须是小写的 robots.txt。只能放在根目录,也就是 https://你的域名/robots.txt,塞进子文件夹是没用的。一个域名一份,子域名各写各的——www.example.com 和 blog.example.com,互不相干。

对了,这文件你自己也能看。浏览器地址栏敲进去就行。这一点后面会变成个大坑。

网站根目录robots.txt纯文本文件配置示例截图

最大的误会:不抓取 ≠ 不收录

很多人以为,Disallow 一写,页面就从搜索结果里消失了。

不是的。

Disallow 说的只是“别抓这个路径”。它没说“别收录这个网址”。搜索引擎收录一个页面,路子不止一条。可以是抓来的,也可以是从别处的链接推出来的。

你把 /secret/ 屏蔽了,但某个论坛有人贴了这个链接。Google 完全可能把那条 URL 收进去——只不过标题是个光秃秃的地址,连摘要都没有。

想真正不让收录,得靠 noindex,写在 meta 标签里,或者放进响应头 X-Robots-Tag。

但这俩有点别扭。noindex 要生效,爬虫得先抓到页面才行。你又不让它抓,它怎么知道页面上写着 noindex?

所以正确的顺序是:先放行,让它抓,页面上挂 noindex,等搜索结果里的条目掉光了,再上 Disallow。绕一圈,但踏实。

顺手说个坑,我见过太多人踩。别拿 robots.txt 藏东西。它是公开的,谁都能访问。你把 /admin-backup/ 写进去,等于给全世界画了张地图,还顺手插了个路标。

真有人专门翻这个文件找入口。安全这事儿,靠的是密码和权限校验,不是一行 Disallow。

这两年,玩法变了

以前 robots.txt 主要跟搜索引擎打交道。现在多了个新对手——AI 爬虫。

GPTBot、CCBot、Google-Extended、ClaudeBot、Bytespider……2023 年之后,一堆陌生名字冒出来。它们来干嘛?喂模型。

于是大量网站开始改 robots.txt,写得明明白白:

User-agent: GPTBot
Disallow: /

写是写了。管不管用,两说。

因为这套协议从骨子里就是自愿遵守的。Google、Bing 这些大厂会认,毕竟招牌摆在那儿。可你没法指望每一个抓数据的都讲规矩。有些爬虫换个 User-Agent 就接着来,你封都封不完,封一个冒三个。

现实点讲,robots.txt 是过滤器,不是防火墙。

真想拦,得上 WAF、上访问限流、上 IP 封禁。成本高,也不优雅,但它管用。

GPTBot CCBot 等AI爬虫User-Agent标识列表
GPTBot CCBot 等AI爬虫User-Agent标识列表

自己动手写一个,五分钟的事

给不折腾的人一个模板,够用:

User-agent: *
Disallow: /wp-admin/
Disallow: /search
Allow: /
Sitemap: https://你的域名/sitemap.xml

几个点解释一下。

User-agent 后面那个星号,指的是所有爬虫。想单独对待某一个,就把它的名字写上去,比如 User-agent: Googlebot。爬虫解析的时候,会先找跟自己名字最贴合的那一组规则,找不到才退回星号那组。所以你可以既写通用规则,又给某个大爬虫开小灶。

Allow 和 Disallow 打起来怎么办?路径写得越具体,优先级越高。这规则有点绕,普通人一般用不上,知道就行。

Sitemap 这行很多人忽略了。顺手写上,等于跟搜索引擎说:我这儿有份清单,照着爬,省事。

还有个 Crawl-delay,别指望它。不是所有爬虫都认,Google 早就明确说不支持了。真想控速,去它自家的站长后台调,比在文件里写一行字靠谱得多。

robots.txt 中User-agent与Disallow规则分组示例
robots.txt 中User-agent与Disallow规则分组示例

那到底写还是不写

那到底写还是不写
那到底写还是不写

写。

成本几乎为零,对正经爬虫的效果又是实打实的。只是别把它当成唯一一道门。

我自己每次建站,头一件事就是往根目录丢一个 robots.txt 上去。不一定写得多完美,但态度先摆在那儿了。

顺便提醒一句,它的设计初衷从来不是保护隐私。它管的是服务器扛不扛得住、爬虫讲不讲礼貌。你的草稿、内部文档、测试页面,该加密加密,该登录登录。放在那儿裸着,写多少行 Disallow,也只是让守规矩的不碰。剩下那些不守规矩的,本来就不会因为一行字收手。

但换个角度想,它也真的挺有用。至少能让讲武德的爬虫别把你测试环境的乱码页面抓进搜索结果,闹出那种“XX 网站突然出现一堆奇怪页面”的尴尬事。

互联网跑了这么多年,很多事就是靠这点默认的默契撑着的。没人签字,没人盖章,可大家都认。

想想还挺妙的。