你搜不到的那篇私藏博客，为啥被robots协议拦在门外？

上周帮朋友找她去年写的那篇南京老梧桐拍胶片的博客。

翻了三页百度、两页谷歌，连域名都换了好几个拼写版本，愣是没找着。

最后她把链接甩我微信上的时候我都懵了。域名没输错，服务器也没挂，点进去文章还在，咋搜索引擎就搜不到？

她笑的直拍桌子，说去年给博客加robots协议的时候，手一抖把所有搜索引擎的爬虫全挡外面了。

这玩意根本不是什么”法律合同”

很多人第一次接触robots协议，总觉得这是个刻在互联网底层规则里的硬法规，但凡网站主写了不让爬，哪个搜索引擎敢碰，那就是吃了熊心豹子胆。

实际上呢？

从诞生第一天起，这玩意就半毛钱强制力都没有。

说白了就是个贴在网站门口的”外来人员请勿入内”的告示。你开个皮肚面店，门口贴张”谢绝推销”，来发传单的人要是讲规矩，看完就转身走了；要是碰上脸皮厚的，硬闯进来挨桌递传单，你其实也没法直接把人扭送派出所——最多就是喊保安把人请出去，对吧。

最早这玩意是90年代两个工程师凑出来的。当时刚兴起的搜索引擎爬虫，啥都往回扒，连人家网站还没写完的草稿、后台测试用的临时页面，全给扒走存进数据库，网站主烦的要死，才跟搜索引擎约好这么个君子协定：我门口贴个告示，你自觉点别爬我不让进的地方，大家都省心。

小店门口贴的谢绝推销告示实拍图

说实话，我第一次知道这玩意没有法律效力的时候，刚喝了一口的冰美式差点喷键盘上。合着我之前对着这几行代码毕恭毕敬了好几年，结果就是个靠自觉的约定？

现在很多独立博客主、小站点运营者，对这个协议的态度完全走歪了。

觉得我把所有路径都给robots禁了，就没人能爬我的内容，就没人抄我写的探店文、拍的梧桐照片，简直是”防扒神器”。

结果呢？

就像我那个写胶片博客的朋友，为了防别人爬她的原图，直接在robots里写了个Disallow: /。好家伙，整个网站的所有页面，全给搜索引擎关在门外了。老读者全靠存书签找她的站，新读者翻遍搜索引擎都不知道她写了那么多南京拍照的好地方，大半年的时间，站点的访问量掉了快七成。

还有个做明瓦廊小吃测评的姑娘，去年找我吐槽，说自己写了三个月的内容，搜自己的文章标题都找不到。我翻了她的robots文件才发现，她本来只想禁掉存素材的临时文件夹，结果手滑把斜杠后面的路径名删了，直接变成全站禁止爬取。

就这么离谱。

写错一个字符，就能让你攒了半年的搜索流量一夜清零。

这就好比你开个皮肚面店，怕路人蹭你家空调吹，直接把店门焊死，只给熟客发个开门的暗号，新路过的人连你家卖啥的都不知道，生意能好才怪。

不过话说回来，也不是说这协议完全没用。比如你网站后台的管理页面、还没写完的草稿、存了用户隐私的临时目录，这些地方本来就不该让搜索引擎爬，写在robots里，让讲规矩的爬虫别进来瞎逛，确实能省不少麻烦。但要是不分青红皂白把整个站都封了，那真的是捡了芝麻丢西瓜。

还有个最大的误区，很多人觉得，只要我在robots里写了不让爬，就没人能动我网站上的内容。

真的想多了。

刚才说了，这就是个君子约定。碰到那种讲规矩的正规爬虫，比如百度、谷歌的官方蜘蛛，确实会老老实实遵守你写的规则。但要是碰上那种不讲武德的野爬虫，人家根本懒得看你robots里写了啥，该爬还是爬，甚至专门盯着你不让爬的地方扒。

就像你小区门口贴了”外来车辆请勿入内”，送外卖的、发小广告的，有时候根本不管你贴的啥，拧着油门就往小区里冲，你总不能为了这个把小区围墙全砌成三米高带电网吧？

之前还刷到过个有意思的事。有个独立博客主，发现自己的内容天天被野爬虫扒走洗稿，气的在robots文件里特意加了一行字：”你要是再爬我站，我就把你家服务器IP全拉黑”。结果转头就被那个爬虫团队的人截了图，发在朋友圈当段子，说这是他们见过最可爱的网站主。

真要防内容被爬，靠robots协议根本没用。你得给图片加水印，给敏感页面加登录验证，甚至加个简单的防爬验证码，比你在robots里写十行警告都管用。

上周帮那个写胶片博客的朋友改了robots文件，只把后台的编辑页、存原图的临时文件夹禁了，剩下的所有公开文章路径，全部放开给搜索引擎爬。

过了三天她给我发消息，带了三个感叹号，说那篇写南京梧桐拍照的文章，已经排在谷歌搜索结果的第一页了，这两天新读者的访问量，比之前半个月的总和还多。

你看。

很多时候你费半天劲想藏起来的东西，其实根本没人会特意来偷；反倒是你随手加的那几行代码，把真正想找你内容的读者，全挡在了门外。