Appearance

三十年河东, 有信仰的AI教父 ​

一、 坐冷板凳三十年的详细故事 ​

从20世纪80年代初到2010年左右，在将近30年的时间里，杰弗里·辛顿（Geoffrey Hinton）几乎是在独自对抗整个学术界的嘲讽、资金的断绝和主流的排挤。这段漫长的“AI寒冬”孤勇者之路，可以拆开为以下四个阶段：

1. 被主流学派判了“死刑” ​

在20世纪70到80年代，AI界的主流是**“符号主义”**（基于逻辑和规则的系统）。主流科学家认为，人类智慧是通过严密的逻辑代码实现的，只要写出足够多的规则，机器就能变聪明。

而杰弗里·辛顿（Geoffrey Hinton）坚持的**“联结主义”**（模拟大脑神经元网络）则被公认为是一条死路。当时AI界的泰斗马文·明斯基（Marvin Minsky，人工智能之父之一）甚至写了一本书，从数学上证明了早期神经网络连最简单的“异或（XOR）”逻辑问题都无法解决。这本书直接断送了神经网络的资金来源。整个学术界对这个方向避之不及，杰弗里·辛顿（Geoffrey Hinton）在当时成了一个“异类”，别人看他的眼神就像看一个执迷于炼金术的疯子。

2. 逃亡加拿大与“AI黑手党”的诞生 ​

到了90年代，美国的国防高等研究计划署（DARPA）等大金主明确规定：一分钱经费也不资助神经网络研究。在美国拿不到经费、甚至面临生存危机的杰弗里·辛顿（Geoffrey Hinton），做了一个改变历史的决定——离开美国，前往加拿大。

当时加拿大的高级研究所（CIFAR）非常慷慨，虽然给的钱不多，但他们对杰弗里·辛顿（Geoffrey Hinton）说：“我们不考核你短期内能做出什么商业成果，我们只资助聪明的脑袋做纯粹的研究。”正是靠着这点微薄但稳定的“口粮”，杰弗里·辛顿（Geoffrey Hinton）在多伦多大学建立了自己的小实验室。他拉上了同样不受待见的杨立昆（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio），三个人抱团取暖。这个在当时被主流学术界边缘化的三人组，后来被称为深度学习的“加拿大黑手党”。

3. 连论文标题都不敢写“神经网络” ​

在最黑暗的20世纪90年代末到21世纪初，学术界流行的是支持向量机（SVM）等有严密数学推导的统计学方法。神经网络因为像一个无法解释的“黑盒”，被斥为没有科学严谨性。

那时候，如果杰弗里·辛顿（Geoffrey Hinton）和他的学生去投计算机视觉或机器学习的顶级会议（如 CVPR、NIPS），只要论文标题里带有“神经网络（Neural Network）”或“多层感知机（MLP）”，大概率会在第一轮被审稿人直接枪毙。为了能让研究成果发表，杰弗里·辛顿（Geoffrey Hinton）和学生们不得不玩起了“文字游戏”。他们把神经网络改头换面，包装成“图形模型（Graphical Models）”或者“流形学习（Manifold Learning）”等当时主流乐意接受的数学词汇，从而把核心研究“偷渡”出去。

4. 孤独者的偏执 ​

很多人问，三十年没有正向反馈，正常人早就转行了，杰弗里·辛顿（Geoffrey Hinton）靠的是什么？

答案是他对生物学的底层信仰。杰弗里·辛顿（Geoffrey Hinton）出身于英国著名的科学世家（他的曾祖父是发明布尔代数的乔治·布尔 / George Boole），他始终认为：既然人类的大脑就是由上千亿个神经元连接而成的，而且证明运转良好，那么模拟大脑的神经网络就一定是实现人工智能的唯一正确道路。 如果现在网络不好用，那一定是计算量不够大、数据不够多、或者训练方法不对，而不是这条路本身错了。

二、 杰弗里·辛顿（Geoffrey Hinton）的事迹与成就 ​

在历经了三十年的漫长寒冬后，杰弗里·辛顿（Geoffrey Hinton）最终亲手开启了这一轮席卷全球的 AI 革命。其核心科学成就与传奇时间线如下：

1. 核心科学成就 ​

杰弗里·辛顿（Geoffrey Hinton）的核心贡献在于解决了神经网络**“怎么训练”和“怎么证明有效”**的问题：

  • 反向传播算法（Backpropagation, 1986年）： 协同提出了反向传播算法，解决了多层神经网络如何通过“错误反馈”来自动调整参数的难题。这是现代所有深度学习模型的数学基石。
  • 深度置信网络（DBN, 2006年）： 提出了逐层预训练的方法，打破了当时“网络层数越深越难训练”的魔咒，正式拉开了“深度学习”时代的序幕。
  • AlexNet 奇迹（2012年）： 他和学生设计了卷积神经网络 AlexNet，在 ImageNet 图像识别大赛中以压倒性优势夺冠，彻底击败了传统计算机视觉流派，让整个学术界和工业界一夜之间转向深度学习。

2. 传奇事迹时间线 ​

  • 1986年｜普及反向传播算法： 与大卫·鲁梅哈特（David Rumelhart）和罗纳德·威廉姆斯（Ronald Williams）共同发表论文，让反向传播算法成为主流。在那个冷清的AI寒冬，他为神经网络的研究保留了火种。
  • 2006年｜定义“深度学习”： 发表文章《A Fast Learning Algorithm for Deep Belief Nets》，首次证明深层神经网络可以被高效训练。这一年，大家开始用“深度学习”替代有些污名化的“神经网络”。
  • 2012年｜ImageNet 一战成名： 与学生伊尔亚·苏茨克维（Ilya Sutskever，后来成为 OpenAI 联合创始人）和亚历克斯·克里切夫斯基（Alex Krizhevsky）推出 AlexNet。随后他们创办的微型初创公司被谷歌以 4400 万美元收购，杰弗里·辛顿（Geoffrey Hinton）正式加入谷歌。
  • 2018年｜荣获图灵奖： 因在深度学习领域的奠基性贡献，与杨立昆（Yann LeCun）、约书亚·本吉奥（Yoshua Bengio）共同获得计算机科学最高奖——图灵奖，三人也被并称为“深度学习三巨头”。
  • 2023年｜出走谷歌，转型“AI 吹哨人”： 随着 ChatGPT 带来的技术狂飙，75 岁的杰弗里·辛顿（Geoffrey Hinton）选择从谷歌辞职。他表示，辞职是为了能毫无顾忌地自由发声，警告人类提防通用人工智能（AGI）可能带来的生存威胁。
  • 2024年｜荣获诺贝尔物理学奖： 因在“利用人工神经网络实现机器学习的奠基性发现和发明”，与约翰·霍普菲尔德（John Hopfield）共同获得诺贝尔物理学奖。这一跨界获奖彻底确立了人工神经网络在整个现代科学界至高无上的地位。

逸闻一件： 杰弗里·辛顿（Geoffrey Hinton）由于严重的椎间盘问题，几十年来几乎无法坐下，只能站着工作或趴在电脑前。2012年谷歌为了收购他的技术，他必须坐飞机去硅谷面试，最终他不得不全程躺在飞机后排的空座位上完成了这趟改变 AI 历史的旅程。

附页：“三剑客”的故事与功绩 ​

如果说杰弗里·辛顿（Geoffrey Hinton）是深度学习的“精神教父”和传道者，那么**杨立昆（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）**就是陪他一起在雪地里并肩行军的铁血盟友。如果没有他们，深度学习可能至今还只是一个停留在纸面上的数学空想。

一、 杨立昆（Yann LeCun）：给 AI 穿上盔甲的工程天才 ​

杨立昆（Yann LeCun）是杰弗里·辛顿（Geoffrey Hinton）的博士后学生。如果说辛顿擅长提出宏大的数学构想，那杨立昆（Yann LeCun）就是那个**“动手把构想变成重型武器”的人。他最大的贡献是发明了卷积神经网络（CNN）**。

1. 核心功绩 ​

  • 造出第一个商业落地的深度学习奇迹： 1989年，杨立昆（Yann LeCun）在贝尔实验室开发了名为 LeNet-5 的网络。当时学术界都觉得神经网络是骗局，他直接把这个系统用在了美国邮政和各大银行里。到了90年代末，全美接近20%的支票手写数字识别都是靠他的系统完成的。
  • 对抗学术界的全面封杀： 尽管他的系统在银行赚了钱，但由于90年代末统计学派（如SVM）大行其道，主流学术界依然认为神经网络“不可控、没有数学优雅性”。随后贝尔实验室重组，杨立昆（Yann LeCun）的研究失去了资金支持。
  • 保留最坚固的火种： 在最艰难的十几年里，全世界搞计算机视觉（让电脑看懂世界）的人都放弃了神经网络，只有杨立昆（Yann LeCun）在纽约大学的实验室里死磕。他不断优化 CNN 的架构，证明了这种结构在处理图像时有着天然的绝对优势。2012年一战成名的 AlexNet，其本质就是杨立昆（Yann LeCun）1989 年 LeNet 架构的“超级放大版”。他现任 Meta 首席 AI 科学家。

二、 约书亚·本吉奥（Yoshua Bengio）：坚守象牙塔的纯学术守护者 ​

如果说杨立昆（Yann LeCun）后来加入了 Meta 走向了工业界，杰弗里·辛顿（Geoffrey Hinton）加入了谷歌，那么约书亚·本吉奥（Yoshua Bengio）则是三巨头中唯一一个至今完全留在学术界、拒绝了所有科技巨头高薪诱惑的人。他现任蒙特利尔大学教授、Mila 研究院院长。

1. 核心功绩 ​

  • 用严密的数学为深度学习“正名”： 当时主流学术界最抨击神经网络的一点就是：“这玩意就是个黑盒，试出来好用而已，根本没有严密的数学推导。”约书亚·本吉奥（Yoshua Bengio）用极高深的数学工具去拆解神经网络，攻克了“梯度消失”等核心理论难题。他向世界证明：深度学习不是炼金术，它是严谨的科学。
  • 现代大语言模型（LLM）的亲生父亲： 很多人以为神经网络只能处理图像，但约书亚·本吉奥（Yoshua Bengio）在 2003 年发表了一篇石破天惊的论文。他首次将神经网络引入自然语言处理（NLP），提出了用向量来表示词语的方法（Word Embedding）。这一理论直接启发了后来的 Transformer 架构，是今天 ChatGPT 等所有大模型赖以生存的底层逻辑。
  • 打造学术避风港： 在没人给神经网络投钱的年代，约书亚·本吉奥（Yoshua Bengio）在加拿大蒙特利尔大学建立了一个纯粹的学术基地（Mila）。他顶着压力招收全世界找不到出路的神经网络天才学生。如今，蒙特利尔因为他的坚守，成为了全球人工智能的学术圣地。

三、 冰封时代的“三剑客”互补 ​

在最黑暗的二十年里，他们三人的关系超越了普通的学术合作。加拿大高级研究所（CIFAR）资助的极少经费，几乎全被他们用来互相串门、开闭门探讨会。

他们的完美互补可以用一句话概括：

  • 杰弗里·辛顿（Geoffrey Hinton） 提供了灵魂与信仰，不断从生物学和直觉中提出颠覆性的新点子。
  • 杨立昆（Yann LeCun） 提供了工程与视觉，用惊人的工程能力把点子落地，证明深度学习真的能解决现实世界的复杂问题（如图像）。
  • 约书亚·本吉奥（Yoshua Bengio） 提供了数学与语言，用严密的数学框架筑起理论高墙，并把火种播撒向了人类的语言与文字。

正因为这三位顶尖大脑在各自的阵地上“互为后背”，深度学习才没有在漫长的寒冬中被主流学术界彻底绞杀。2018年，他们三人共同登上了计算机科学的最高领奖台（图灵奖），这是对这场长达三十年孤勇远征最完美的授勋。

参考文献 ​

  • [1] [美] 凯德·梅茨 (Cade Metz). 《天才谷的幕后英雄》（Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World）.
    • 核心参考内容：记录了杰弗里·辛顿（Geoffrey Hinton）因严重的椎间盘问题无法坐下、全程躺在飞机后排完成硅谷面试的经典轶事；以及 2012 年 ImageNet 夺冠后其初创公司被谷歌以 4400 万美元收购的内幕。
  • [2] [美] 特伦斯·塞诺夫斯基 (Terrence Sejnowski). 《深度学习：智能时代的底层逻辑》（Deep Learning: How Minds and Machines Are Revolutionizing Our World）.
    • 核心参考内容：系统回顾了 20 世纪 80 年代马文·明斯基《感知机》一书对神经网络学派的打击，阐述了“联结主义”与“符号主义”的交锋，以及加拿大高级研究所（CIFAR）在 AI 寒冬中对三剑客的资助背景。
  • [3] [法] 杨立昆 (Yann LeCun). 《科学之路：人脑、计算机与人工智能》（Je pense donc je suis un algorithme）.
    • 核心参考内容：杨立昆的个人自传。详细描述了 1989 年其在贝尔实验室开发 LeNet-5 系统并成功应用于全美支票手写数字识别的工程奇迹，以及随后遭遇统计学派（SVM 等）全面排挤的低谷历程。
  • [4] Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by backpropagating errors. Nature, 323(6088), 533-536.
    • 核心参考内容：共同普及了反向传播算法（Backpropagation），解决了多层神经网络如何通过错误反馈自动调整参数的难题。
  • [5] Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18(7), 1527-1554.
    • 核心参考内容：提出了深度置信网络（DBN），首次证明深层神经网络可以被高效逐层预训练，正式拉开了“深度学习”时代的序幕。
  • [6] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems (NeurIPS), 25.
    • 核心参考内容：辛顿与学生伊尔亚·苏茨克维（Ilya Sutskever）等人设计的 AlexNet 夺得 ImageNet 大赛冠军的奠基性论文，彻底击败传统计算机视觉流派。
  • [7] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.
    • 核心参考内容：确立了 LeNet-5 的架构，用惊人的工程能力证明了卷积神经网络（CNN）在处理图像和模式识别时的天然绝对优势。
  • [8] Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research (JMLR), 3(Feb), 1137-1155.
    • 核心参考内容：首次将神经网络引入自然语言处理（NLP），提出了词向量（Word Embedding）概念，是现代大语言模型（LLM）与 Transformer 架构的底层逻辑源头。
  • [9] ACM (Association for Computing Machinery). (2018). ACM A.M. Turing Award Laureates: Geoffrey E. Hinton, Yann LeCun, Yoshua Bengio.
    • 核心参考内容：计算机科学最高奖“图灵奖”的官方授奖词及公告。官方正式确立了三人作为“深度学习三巨头”的崇高地位，并阐述了三人在直觉、工程和数学上的完美互补。
  • [10] The New York Times. (2023). The Godfather of AI Leaves Google and Warns of Danger Ahead. (Published May 1, 2023).
    • 核心参考内容：杰弗里·辛顿从谷歌辞职的独家专访。详细记录了他选择出走谷歌、转型为“AI 吹哨人”并警告人类通用人工智能（AGI）生存威胁的言论。
  • [11] The Royal Swedish Academy of Sciences. (2024). The Nobel Prize in Physics 2024: Foundational discoveries and inventions that enable machine learning with artificial neural networks.
    • 核心参考内容：瑞典皇家科学院诺贝尔物理学奖官方授奖词。正式确立了人工神经网络在整个现代科学界至高无上的跨界学术地位。