首页 / 科技 / 正文

网络爬虫:你搜完它就知道了?别急着骂,它可能只是个跑腿的

前阵子朋友发我一张截图。他在某书搜了“露营椅”,转头打开购物App,首页全是帐篷、折叠桌、气罐。他毛了:“是不是手机在偷听我?”我笑了。偷听这事儿先放一边,更大概率是另一群家伙在忙活——网络爬虫。当然,广告联盟、Cookie、设备ID也脱不了干系。但爬虫,绝对是互联网上最勤快又最容易被误解的“搬运工”。

网站服务器日志中网络爬虫访问记录截图

你写博客也好,做小电商也罢,网站一上线,用不了多久就能在日志里看见一堆奇怪请求。比如“Mozilla/5.0 (compatible; Googlebot/2.1)”、“Baiduspider”,还有各种你根本没听过的名字。它们不睡觉,不喊累,一页一页地翻,一条一条地记。说实话,我第一次看自家服务器日志时,差点以为被黑了。后来才知道,好家伙,是爬虫在“参观”。

爬虫不是黑客,但它确实会“翻你家抽屉”

先把这个说清楚:网络爬虫不是黑客。它不撬锁,不走后门。它更像一个不知疲倦的采购员,拿着清单,挨个访问公开网页,把看到的价格、标题、链接、图片地址抄回来。搜索引擎靠它建索引,比价网站靠它更新价格,做数据分析的靠它攒素材。可问题来了——它访问得太频繁,或者专挑你不愿意公开的东西抓,那就不是“参观”,是“翻抽屉”了。比如你后台的测试页面、没加权限的接口、藏在JS里的数据。它才不管。见到就搬。

电商比价网络爬虫请求响应流程示意图
电商比价网络爬虫请求响应流程示意图

robots.txt 像门口贴的“谢绝推销”,但不是法律

很多网站根目录下有个 robots.txt 文件。你可以把它理解成贴在门上的纸条:搜索引擎爬虫请走这边,别碰后台。大厂的爬虫一般会遵守。但小爬虫、恶意爬虫,看都不看。你写“禁止抓取”,它当没看见。所以这玩意儿是君子协定,不是铁门。那怎么办?限速、封IP、上验证码、动态渲染、甚至放蜜罐。不过话说回来,小网站别一上来就搞复杂反爬,先看看日志,把那些一秒请求八百次的IP拉黑,往往就清净了。

你每天用的服务,背后可能都有爬虫

你每天用的服务,背后可能都有爬虫
你每天用的服务,背后可能都有爬虫

举个更日常的例子。你想买台相机,打开比价网站,它怎么知道哪家便宜?它不可能等你一家家问。它派爬虫去。航班动态、天气聚合、论文索引、舆情监控,背后都有类似逻辑。甚至你投诉“我的文章被别的站偷了”,也可能是爬虫干的。但反过来,如果你开了个小店,又巴不得搜索引擎的爬虫天天来,好把你收录进去。矛盾吧?对,这就是爬虫的两面。它不天然坏,也不天然好。看谁用,怎么用。

普通人要防什么?做站的人又该咋办?

普通人:别乱装来路不明的“爬虫神器”。很多所谓神器,其实是拿你的设备当跳板。做站的人:定期看日志,设置访问频率,写清楚robots,服务条款里也把边界说明白。真遇到恶意抓取,该发律师函发律师函,该报警报警。法律这块我不展开,但记住一句:绕过技术措施抓非公开数据、抓个人信息,很容易越线。如果你只是好奇,学Python写个小爬虫抓公开天气,完全没问题。但别对着人家服务器一顿猛冲。

回到朋友那个露营椅。他后来发现,自己前几天在另一个平台看过帐篷,账号是同一个。爬虫有没有参与?可能有,也可能没有。互联网上的数据像水,到处流。爬虫只是其中一根管子。你没法把管子全堵上,但可以装个阀门。对吧?