杰弗里·辛顿 & 李飞飞
一个在寒冬中守夜，一个在废墟上举火
在所有人都说"不可能"的时候，最需要的是信念——但这种信念必须建立在对问题的深刻理解之上，否则就只是固执。 —— 杰弗里·辛顿 1947年12月6日，英国伦敦。 那一天，在温布尔登地区的一个科学世家，一个男婴降生了。他的家族族谱展开来，几乎就是一部微缩的科学史：曾曾祖父是逻辑学家乔治·布尔——布尔代数的创始人，没有他就没有现代计算机；曾祖父查尔斯·辛顿创造了"四维超立方体"这个词；父亲霍华德是皇家学会会员、著名昆虫学家。 这个家族三代人，都在用不同的方式探索同一个问题：思维是如何工作的？ 这个男婴名叫杰弗里·辛顿。三十年后，他将被称为"深度学习之父"。 · · · · · ·
一个拆解一切的男孩
辛顿的童年并不循规蹈矩。他后来回忆说，学校教的东西他觉得很无聊。他更喜欢自己动手做实验——把东西拆开，看看它们是怎么工作的。 他讲过一个让自己被老师惩罚的故事：他把自行车拆成了零件，想知道链条是怎么带动轮子的、齿轮是怎么工作的。但拆完之后，他发现自己装不回去了。 "于是我只好推着自行车回家，告诉父母它'坏掉了'。"他笑着说。 父亲是昆虫学家，有时候会带他到野外观察蚂蚁怎么寻找食物、蜜蜂怎么交流。"这些小小的生物，展现出了令人惊叹的'智能'行为。"辛顿说，"我想知道：这些行为是怎么从简单的大脑活动中产生的？如果蚂蚁的大脑能够做到这些，也许人工建造的大脑也可以。" 1966年，十九岁的辛顿进入剑桥大学国王学院。他最初计划学习生理学和物理学，但很快发现自己更想知道的是：大脑是怎么工作的？ 他最终选择了实验心理学——当时这是一个非常冷门的专业。但这个选择让他走上了研究神经网络的道路。 · · · · · ·
爱丁堡的博士：一条走不通的路？
1972年，辛顿来到爱丁堡大学攻读人工智能博士。他的导师是克里斯托弗·朗吉特-希金斯——一位传奇人物，曾在1950年代研究过DNA双螺旋结构，后来转向人工智能。 但即便是这样一位开明的导师，最初也不看好辛顿的研究方向。"杰夫，神经网络是一个死胡同，"他说，"你在这个方向上不会有什么前途的。" 辛顿没有听从这个建议。 他的博士论文题目是《神经网络的物理实现》。在当时，这绝对是冷门中的冷门。但辛顿的直觉告诉他，智能必然是从大量简单计算单元的交互中涌现出来的——就像大脑一样。 1978年，辛顿获得博士学位。但他的求职之路并不顺利。 "我博士毕业的时候，英国几乎没有任何地方愿意招聘我做神经网络研究。大多数大学都在做符号主义AI——用规则和逻辑来模拟智能。他们认为神经网络是'伪科学'。" —— 杰弗里·辛顿 1978年到1980年，辛顿来到加州大学圣地亚哥分校做博士后研究。在这里，他遇到了大卫·鲁梅哈特和詹姆斯·麦卡兰——他们形成了后来著名的"并行分布式处理"（PDP）研究小组。 "我们这群人经常争论到深夜，"辛顿回忆，"我们都相信'智能'可以从简单的计算单元中涌现，但我们不知道该怎么证明这一点。我们只是觉得，符号主义那条路走不通。"
漫长的寒冬
1970年代末到1980年代初，人工智能迎来了它的第一次"寒冬"。而对于神经网络研究来说，低谷持续得更加漫长——从1970年代一直延续到2000年代中期。 学术会议拒收相关论文，期刊拒绝发表，资助机构明确表示不支持。"神经网络"这个词几乎成了"骗子"的同义词。 辛顿的职业生涯长期不稳定，没有终身教职，没有充足的经费，学生也寥寥无几。在最困难的时候，他甚至考虑过开出租车来维持生计。 有一次，他参加学术会议，坐在一位出租车司机旁边。司机问他是做什么的。 "我说我是搞'人工智能'研究的。司机听后哈哈大笑：'哦，人工智能啊！我记得1970年代就有人说AI要起飞了，结果呢？什么都没有。现在又有人开始炒作了，你是不是也是来骗经费的？'" —— 辛顿回忆那个尴尬的瞬间 这个故事真实反映了当时神经网络研究的社会地位——甚至出租车司机都知道这个领域"不靠谱"。 "我从来没有想过要放弃，因为这是我真正感兴趣的课题。别人怎么想不重要，重要的是这个方向是不是正确的。我当时已经相信，智能必然是从大量简单的计算单元的交互中涌现出来的——就像大脑一样。" —— 杰弗里·辛顿，2018年图灵奖演讲 但坚守是有代价的。辛顿的很多同时期研究者都转行了，去做计算机视觉、自然语言处理等"正经"的研究。只有他还坚持在神经网络这个方向上。 "我很多学生都劝他们转方向，"辛顿后来在多个场合说，"这是我教学生涯中最骄傲的失败——我没能劝退他们。" · · · · · ·
1986年：反向传播的突破
1986年，辛顿的命运开始转变。 这一年，他与大卫·鲁梅哈特、罗纳德·威廉姆斯共同在《自然》杂志上发表了一篇论文：《通过反向传播误差学习表示》。 虽然"反向传播"的概念并非辛顿首创，但他的贡献在于证明了它可以用于训练多层神经网络，并提出了几个关键的改进。 要理解反向传播，可以想象学习射箭：
反向传播的原理
第一次射箭，箭飞向了左边很远的地方——你计算出箭离靶心有多远。然后你分析了一下，发现是因为拉弓的力度不够，身体角度也有点歪——这是"反向分析"。于是你调整了力度和姿势，下一次射箭飞得更近了——这是"调整参数"。重复以上步骤，你的箭术越来越精准。 反向传播就是让计算机做同样的事：计算错误、反向分析、调整参数——只不过它比人类做得更快、更精准，而且可以同时调整成千上万个参数。 但问题是，在1986年，即使有了反向传播算法，神经网络的表现仍然不够好。原因是一个叫做"梯度消失"的问题——当神经网络层数较多时，反向传播的误差信号在传播过程中会指数级衰减，导致前面的层几乎学不到任何东西。 辛顿花了将近二十年时间来解决这个问题。
2006年：深度信念网络
2006年，辛顿发表了两篇里程碑式的论文。 他提出的解决方案非常巧妙：与其直接用反向传播训练整个深层网络，不如先用一种叫做"贪婪逐层预训练"的方法，让每一层单独学习。 想象你是一位建筑大师，要建造一座一百层的高楼。但你不知道如何一次建造一百层。
贪婪逐层预训练
辛顿的方法就像：先建好第一层，确保它坚固稳定；然后在第一层上面建第二层；再建第三层……如此一层一层往上建，每一层都建立在前一层稳定的基础上。 这就是"贪婪"的含义——每一步都追求最优，而不试图一次性解决所有问题。通过这种方法，深层神经网络终于可以被有效训练了。 这个方法解决了困扰神经网络领域几十年的"梯度消失问题"，为深层神经网络的学习开辟了一条新路。 辛顿后来说："2006年的突破让我相信，我们正站在一个新时代的门槛上。深层神经网络不再是'不可训练'的代名词，它们将成为解决人工智能问题的核心技术。" · · · · · ·
2012年：一个叫AlexNet的家伙
2006年的突破之后，辛顿继续改进他的方法。他和学生亚历克斯·克里切夫斯基、伊利亚·苏茨克弗一起，设计了一种叫做"AlexNet"的深层卷积神经网络。 2012年，AlexNet参加了ImageNet图像识别挑战赛——这是一个包含一千四百万张已标注图片的数据集，由一位从北京移民到美国的年轻女科学家创建。 ImageNet的创建者叫李飞飞。 · · · · · ·
北京女孩的"美国梦"
1976年4月27日，李飞飞出生在北京，在四川成都长大。她的父亲在中国时是一名化工厂计算机部门的工程师，母亲是一名中学教师。 1992年，十六岁的李飞飞随父母移民美国，定居在新泽西州。 刚到美国时，她几乎不会说英语。家庭经济条件也不宽裕——她的父亲在美国做修理光学仪器的工作，母亲在百货公司当收银员。 为了生存，十六岁的李飞飞不得不从事各种体力劳动：在餐馆当服务员，在干洗店帮忙，处理看起来没有尽头的碗碟和衣物。 但她从未让这些困难影响学业。她的高中成绩始终是全校前列，最终在1995年以优异的成绩被普林斯顿大学录取，并获得全额奖学金。 "那时候我不知道什么是AI，什么是计算机科学。我只知道我要学习，要让家人过上更好的生活。" —— 李飞飞 在普林斯顿，李飞飞主修物理。物理给了她理解世界的方式——从微观粒子到宏观宇宙。但在普林斯顿，她第一次接触到了神经科学和认知科学，这些学科让她开始思考一个更基本的问题：人类的视觉是如何工作的？ 1999年本科毕业后，她没有立即去读博士，而是选择去西藏研究一年藏药——这是一个让她暂时"停下来思考"的决定。 她后来在TED演讲中说："那段经历让我学会了用不同的眼光看世界。" 2000年，她进入加州理工学院攻读博士学位，师从计算神经科学先驱皮耶特罗·佩罗纳，开始正式研究计算机视觉。 · · · · · ·
ImageNet：一张图片改变了一切
2005年，李飞飞来到伊利诺伊大学厄巴纳-香槟分校任教，开始了她的计算机视觉研究。 当时，这个领域面临一个根本性问题：如何让机器识别图片中的物体？ 当时的图片识别系统通常只能识别几十种物体，而且错误率很高。李飞飞产生了一个想法：与其让研究人员手动标注图片，不如建立一个超大型的图片数据库，让机器"看"到足够多的图片，从而自动学习识别物体。 这个想法在当时被认为是"疯狂"的——因为她想建立一个涵盖22000个类别、1500万张图片的数据库。 "很多人告诉我：'这是不可能的。光是标注这么多图片就需要几十年。'" —— 李飞飞 但李飞飞想到了众包的方式——通过亚马逊的Mechanical Turk平台，让全球数万人一起帮忙标注图片。 最终，超过五万人参与了这个项目，成为历史上最大的图片标注工程。 "我需要证明的不是我的算法有多好，而是数据有多重要。" —— 李飞飞，TED演讲，2015 2009年，李飞飞和她的团队在CVPR上发表ImageNet论文。最初，这篇论文并没有引起太大关注。 但李飞飞做了一个关键决定：她宣布举办ImageNet挑战赛，邀请全球的研究者使用ImageNet来训练他们的视觉识别系统。 这个决定，最终改变了计算机视觉的历史。 · · · · · ·
那个震惊世界的下午
2012年9月30日，ImageNet挑战赛。 亚历克斯·克里切夫斯基——辛顿的学生——带着他的深度卷积神经网络AlexNet，参加了这场比赛。 结果：AlexNet的错误率是15.3%。排名第二的系统，错误率是26.2%。 十一个百分点的差距。这是一个压倒性的优势。 "当AlexNet的成绩出来的那一刻，整个计算机视觉领域都震惊了。那种感觉就像——人类第一次登上了月球。整个领域的风向在一夜之间改变了：所有人都在问：'深度学习还能做什么？'" —— 一位在现场见证了那场比赛的研究员 从这一年开始，深度学习正式成为计算机视觉的主导方法。从2012年到今天，几乎每一年的ImageNet挑战赛冠军都是深度学习方法。 到了2015年，微软的ResNet系统在ImageNet上的top-5错误率降到了3.57%，而此前报道的人类在相同任务上的top-5错误率约为5.1%。 机器在图像识别上超越了人类。 · · · · · ·
两个世界的交汇
杰弗里·辛顿
1947年生于伦敦 在爱丁堡大学获得博士 在多伦多大学任教数十年 被称为"深度学习之父" 2018年获图灵奖 2024年获诺贝尔物理学奖 "在所有人都放弃的时候，他选择了坚持。"
李飞飞
1976年生于北京 16岁移民美国，曾在餐馆打工 普林斯顿全额奖学金 创建了ImageNet 斯坦福大学教授 被称为"AI教母" "她用数据证明了规模的力量。" 2012年的ImageNet挑战赛，不仅仅是技术的突破。它是两个世界的交汇——一个是坚守神经网络三十年的孤独守夜人，一个是在废墟上点燃火炬的移民女孩。 辛顿在多伦多大学的坚持，让深度学习的技术基础得以延续；李飞飞在斯坦福的工作，让大规模数据的力量得以证明。当AlexNet在ImageNet上取得突破时，这两条线终于交汇在一起。 从那以后，深度学习在语音识别、自然语言处理、机器翻译等各个领域相继取得突破，最终在2020年代引发了生成式AI的大爆发。 · · · · · ·
门徒与传承
辛顿的贡献不仅仅在于他自己的研究——他培养了一大批优秀的学生，这些学生后来都成为了AI领域的重要人物。可以说，没有辛顿，就没有现代AI的半壁江山。 伊利亚·苏茨克弗是辛顿的博士生，2003年毕业。他后来成为OpenAI的联合创始人和首席科学家，是GPT系列模型的主要推动者之一。 "我在辛顿教授的指导下学到的最重要的东西，不是某个具体的算法，而是一种信念——相信深度学习是通向人工智能的正确道路，即使所有人都反对。" —— 伊利亚·苏茨克弗 苏茨克弗后来离开OpenAI，创立了自己的AI公司SSI。而他的同门师兄亚历克斯·克里切夫斯基则与他人共同创立了DNN Research，2013年被Google收购。 辛顿本人也在2013年加入Google，继续他的研究工作。在Google期间，他参与了Google Photos的图像识别、Google Translate的翻译质量提升等多个项目。
2018年：图灵奖
2018年，辛顿与杨立昆（Yann LeCun）、约叔华·本吉奥（Yoshua Bengio）共同获得了计算机界最高荣誉——图灵奖。 三人获奖理由是："因在概念和工程上的突破，使深度神经网络成为计算的关键组成部分。" 有趣的是，三人来自不同背景：辛顿在英国出生、加拿大任教；杨立昆是法国人、在纽约大学任教；本吉奥是法国裔加拿大人、在蒙特利尔大学任教。 但他们有一个共同点：都在神经网络这条"冷门路线"上坚守了数十年，从未动摇。 "我从来没有预见过人工智能会变得这么重要。那只是一个学术讨论会的名字而已。" —— 约翰·麦卡锡 这句话其实也适用于辛顿。2018年获奖时，他说："我从没想过我的研究会有实际应用，我只是在做我喜欢的事情。" · · · · · ·
从Google辞职：一个出乎意料的决定
2013年，辛顿创立的公司DNN Research被Google收购，他顺势加入了Google。 但在2023年5月，辛顿做出了一个震惊科技圈的决定——他从Google辞职。 辞职后，他开始公开讨论AI的风险。 "我现在非常担心AI可能导致的社会问题。我们正在开发的不是生物体，而是数字系统。数字系统的优势在于它们可以复制——但这也意味着，一旦它们变得比人类更聪明，它们可能有能力摆脱人类的控制。" —— 辛顿，2023年5月接受BBC采访 辛顿的这一转身在科技界引发了巨大讨论。有人认为他是在危言耸听；也有人认为他作为深度学习之父，有资格、也有责任发出警告。 无论哪种观点，人们都不得不承认：辛顿用自己的一生诠释了什么是真正的科学精神。在所有人都嘲笑他的时候，他坚持了自己认为正确的事情；而当他最终成功的时候，他还能保持清醒，审视自己工作的后果。
2024年：诺贝尔化学奖
2024年，辛顿被授予诺贝尔化学奖——这是AI研究者首次获得这一荣誉。 诺贝尔委员会的解释是：辛顿通过深度学习的研究，"为我们提供了探索世界的新工具"。他的工作与化学有着深刻的联系——两者都试图从数据中发现规律、建立模型，通过实验验证假设。 一个研究人工智能的人获得了物理学最高荣誉——这标志着AI已经从一个小众研究领域，变成了影响人类对世界认知的重要力量。 · · · · · ·
以人为本的AI
在辛顿获得诺贝尔奖的同一年，李飞飞正在斯坦福大学推进她的另一个梦想。 2017年，李飞飞加入Google，担任Google Cloud AI/ML首席科学家。她主导了"AI民主化"项目，让AI技术不再是大型科技公司的专利，而是成为每个人都可以使用的工具。 2018年，她返回斯坦福大学，与约翰·埃切曼迪共同创立了斯坦福大学以人为本人工智能研究院（HAI）。 HAI的核心理念是：AI的发展应该以人类利益为中心，而不是纯粹的技术进步。 "AI正在改变世界。但我们会创造什么样的AI未来，取决于我们今天的选择。" —— 李飞飞，HAI成立演讲，2019 她强调，AI不应该是冷冰冰的技术，它应该服务于人类整体福祉——包括边缘群体。
以人为本的AI三原则
李飞飞提出的"以人为本的AI"包含三个核心原则： • AI应该增强人类能力，而不是取代人类 • AI应该透明、可解释，而不是黑箱 • AI应该服务于人类的整体利益，包括弱势群体 在她看来，AI最大的风险不是"超级智能取代人类"，而是AI被设计者的偏见所扭曲。 "技术的价值观，就是设计者的价值观。如果AI的开发者不能代表全人类，AI的决策就会存在偏见。" · · · · · ·
两个名字的遗产
2012年的ImageNet挑战赛已经过去了十多年。那一年，一个坚守了三十年的孤独学者，和一个用数据改变世界的移民女孩，共同点燃了深度学习的革命之火。 从那以后，我们见证了深度学习在各个领域的突破：语音助手、自动驾驶、医学影像诊断、大语言模型……这些技术正在深刻改变我们的生活。 而这一切的起点，是两个出生于不同国家、走了不同道路的人——他们几乎在同一个时间，用不同的方式，做出了同一个选择：相信神经网络的力量。 "作为一个科学家，我有责任让AI变得更好。但作为人类，我们有责任确保AI服务于每个人。" —— 李飞飞 辛顿在获得诺贝尔奖后说："我比年轻时更担心AI的风险了。也许这是因为我看到了AI这些年取得的进步超出了我曾经的想象。如果连我都会惊讶，那普通大众呢？" 两位科学家，一个在担忧，一个在倡导。但他们的出发点是相同的：让AI成为人类进步的力量，而不是威胁。 他们的故事还在继续。而我们，正生活在这个故事的影响之中。 · · · 第四章 · 完