首页 / 科技 / 正文

我搜“火锅”,它给我一只猫——图像识别到底在忙什么

上周干了一件挺蠢的事。半夜饿了,翻手机相册,想找去年在重庆吃火锅那张照片。在搜索框里敲了“火锅”两个字。第一屏,全是猫。

我家的猫。趴在窗台上的、钻纸箱的、糊成一团的。往下滑了三屏,才冒出来一口红汤锅。

那一刻我就想,这东西到底是怎么认的。

它没在看,它在算

我们习惯说“AI看懂了这张照片”。这个说法其实挺误导的。

照片在它眼里没有“猫”,也没有“火锅”。只有一堆数字。每个像素三个数,红多少、绿多少、蓝多少。一张普普通通的手机照片,就是这么几百万个数字堆在一起。密密麻麻,谁看谁晕。

图像识别要做的第一件事,是从这堆数字里榨出规律。

怎么榨?拿一个小窗口,比如 3×3 那么大,在整张图上从左到右、从上到下一寸一寸地挪。每挪一格,就把这九个数做一次加权求和。听起来无聊,但威力巨大。这个小窗口就是所谓“卷积核”,它像一个专门找竖线的探子、一个专门找横线的探子、一个专找斜角的探子。

卷积神经网络特征提取层可视化示意图

浅层的探子只看得到这些:这里有一条边,那里有一块色。深一层,探子们把边拼起来,拼出了弧线、拐角。再深一层,拼出了眼睛、耳朵、轮子、汤面上的油花。

到最后一层,它输出的是几个数字,概率。猫 0.87,火锅 0.11,剩下的是别的。

所以严格讲,它不是在“看”。它是在给每种可能性打分。

那猫为什么混进火锅里

好问题。而且这个问题比你想的要更有意思。

最直接的原因,是训练的时候给它看的东西不对路。你喂它一千万张图,每张都贴了标签,这是猫,这是火锅,这是公交车。它就从这些例子里总结规律。可总结出来的规律未必是“猫有胡须”这么体面。

它可能总结出的是:毛茸茸、暖色调、室内柔光、占据画面中间偏下。

而我半夜在火锅店拍的那张照片——红油翻滚、暖光、热气糊住镜头——在它的特征表里,跟一只橘猫的重合度居然不低。加上我相册里猫的照片实在太多了,多到整个模型的判断都被拉偏了一点。

这种翻车其实到处都是。有个特别出名的老梗:吉娃娃和玛芬蛋糕放一起,很多模型分不清。都是浅棕色的圆团,都有一点点褶皱纹理,头顶还有一撮像毛又像糖霜的东西。

还有柯基的屁股和吐司面包。这个我真的服气。

手机相册AI搜索关键词返回照片结果界面截图
手机相册AI搜索关键词返回照片结果界面截图

再往深一层说,模型会“作弊”。它不一定是学到了你的猫长什么样,而是学到了你拍猫时的那个环境。你家客厅的光线、那块地毯的颜色、你习惯的构图角度。它记的是氛围,不是主角。所以你一换场景,它立刻懵。

这也是为什么,同一只猫,在窗台上拍它认得,在宠物医院的白墙上拍它就不认了。太亮了,太白了,背景全变了。

你其实每天都在使用它

别以为这东西离你很远。它基本上已经贴在你生活上了,只是你没注意。

小区门口那个道闸。车一停,摄像头咔嚓一下,两秒不到杆子就抬了。你以为它认的是那块铁皮牌子?车牌定位、字符切分、逐个识别,每一步都是图像识别在干活。雨天、逆光、泥点子糊住半个号牌的时候,它就开始犯迷糊了,保安师傅得手动给你按一下。

小区停车场入口车牌识别摄像头道闸实拍
小区停车场入口车牌识别摄像头道闸实拍

超市自助结账台。你把一把青椒往秤上一放,屏幕自己跳出“青椒”两个字。这个挺神的。它看的是形状、颜色、表皮的凹凸感。但我试过把两根黄瓜和两根苦瓜混着放,它就开始犹豫,反反复复在那跳。

还有你手机长按一只猫,边缘冒出白光,把猫从背景里抠出来。这个我真心觉得好用。背后是先把画面里每个像素判定成“前景”还是“背景”,然后再把边界磨平,不然毛边会像狗啃的。

电商的拍立淘、相册的智能分类、相册里的“人物”分组,一个道理。甚至连内容平台审核你发的图,也是靠它在筛。

别对它抱有不切实际的期待

我见过太多人,一提到图像识别就两种极端。要么觉得它无所不能,要么觉得它就是个智障。

实际上它更像个记性极好、但没怎么见过世面的学徒。你给它看过的,它认得很准,甚至比你准。你没给它看过的,它就瞎猜,还猜得特别自信。

它不理解“这是我妈”,它只知道这堆像素跟它记忆里的某类东西长得像。它不知道猫会动、火锅会烫。它连“三”和“八”在模糊时候的区别都搞不定。

所以用它的时候,心态放平。

相册搜索就当成抽奖。想找那张火锅照片,老实点,手动往下翻。我那天翻到第八百多张才找到,锅底都糊了,照片还拍虚了。

但有意思的是,后来我又试着搜了个“模糊”,它居然把那几张糊掉的全给我揪出来了。

你看,它有时候比我自己还了解我的相册。