一位神经网络的"失败史"：三起三落的深度学习

今天打开手机，人脸解锁、语音助手、相册自动分类，全都运行在神经网络之上。但很少有人知道，这项统治今天的技术，曾经死过两次。本文讲述神经网络六十年的三起三落——一部标准的”失败者逆袭史”。

第一落：寒风吹灭的第一次浪潮（1969）

1958 年，康奈尔大学的罗森布拉特造出了”感知机”——一个能通过例子学会分类的简单神经网络。媒体沸腾了，《纽约时报》报道说它”将来能走路、说话、有意识”。

高光只持续了十一年。1969 年，麻省理工的明斯基和帕珀特出版了《感知机》一书，用数学证明单层感知机连”异或”这种基础逻辑运算都学不会。这一击是致命的：当时的数学工具和技术条件，确实看不出出路。

经费断流，研究者转行，”人工神经网络”成了学术圈里不好意思提的词。这就是第一次 AI 寒冬。此后近二十年，主流 AI 走的是另一条路：把人类知识写成规则喂给机器（符号主义），结果在真实世界的复杂性面前步步维艰。

就在寒冬里，少数”不信邪”的人还在坚持。

1986 年，鲁梅尔哈特、辛顿等人重新推广了”反向传播”算法——让多层网络也能有效学习，绕开了感知机的死穴。听起来像救星，但很快撞上新的墙：算力太差、数据太少。训练一个今天几秒钟就能完成的网络，当时要跑几天，效果还不稳定。

九十年代，另一条岔路上的”支持向量机”等方法在理论和实用上都表现更好，神经网络再次边缘化。九十年代末，辛顿在加拿大的实验室申请经费屡屡碰壁，他的研究方向被普遍视为”上个时代的遗产”。后来改变世界的几个人，当时都处在学术领域的寒冷地带。

转折需要三个条件同时成熟，缺一不可：

算法：2006 年前后，辛顿等人提出深度信念网络的逐层预训练方法，证明”深”的网络可以训得动（后来发现大规模数据下连预训练都不必需，但那一刻重新点燃了信心，”深度学习”由此得名）。

数据：互联网十年积累，让研究者第一次拥有千万级的标注图片库（ImageNet，2009 年发布）。没有大数据，深网络只是过拟合机器。

算力：研究者发现，玩游戏用的 GPU 显卡天然适合神经网络的并行计算，训练速度提升几十倍，成本却只要零头。

2012 年，辛顿的学生在 ImageNet 图像识别大赛上，用一个深度卷积网络把识别错误率从 26% 直接砍到 15%，比第二名低了整整 10 个百分点。传统方法瞬间显得像上个时代的文物。工业界闻风而动：2013 年起，各大科技公司纷纷把深度学习立为核心技术，并高薪挖走了几乎整个学术圈顶尖团队。

回看这段历史，值得咀嚼的问题是：神经网络的核心思想（模仿神经元的加权连接、从数据中学习）在六十年代就有了，为什么赢的是它，而不是后来居上的各种精巧方法？

答案朴素得近乎残酷：它是唯一一种”数据越多、算力越强，能力就持续变强”的方法。 其他方法加数据加到一定程度就饱和了，而深度学习恰恰相反——把模型做大、数据喂多，能力跟着往上走。这是一种”规模杠杆”。而当互联网恰好准备好了海量数据、游戏产业恰好准备好了 GPU，这根杠杆就有了支点。

同时它也证明了科学史的一条老规律：一个想法被埋没，未必因为它错了，可能只是因为它的时代没到。 反向传播 1986 年就成熟了，再等二十多年才等来配得上它的数据和算力。

今天深度学习处于史上最高点，但历史的韵律值得记取：每一次”终局已定”的判断，后来都被证明是错觉。当年证明感知机死刑的明斯基，晚年也承认那个判断过于武断。

当下的讨论——模型规模是否已到收益递减点、能否用新架构取代——与当年的争论何其相似。没有人知道下一次寒潮会不会来、何时来。唯一确定的是：理解这段三起三落的历史，比背诵任何一行结论都更有助于我们冷静看待今天的热闹。

技术史的可爱之处就在这里：它从不许诺直线上升，但它奖励坚持者，也最终会奖励清醒的旁观者。