第五章
安德鲁·巴托 & 理查德·萨顿 —— 两个"叛逆者"改写人工智能的历史
强化学习的缔造者
1948年 : 安德鲁·巴托出生于美国
约1957年 : 理查德·萨顿出生于美国俄亥俄州托莱多
1970年 : 巴托获密歇根大学数学学士学位（曾主修船舶建筑与工程，后转向数学与计算机）
1975年 : 巴托获密歇根大学计算机与通信科学博士学位
1977年 : 巴托加入马萨诸塞大学阿默斯特分校，任博士后研究员
1978年 : 萨顿获斯坦福大学心理学学士学位
1980年 : 萨顿获马萨诸塞大学阿默斯特分校计算机科学硕士学位
1983年 : 巴托、萨顿与查尔斯·安德森共同提出"Actor-Critic"架构（强化学习框架）
1984年 : 萨顿获马萨诸塞大学阿默斯特分校计算机科学博士学位，导师为巴托
1988年 : 萨顿发表里程碑论文，正式提出"时间差分学习"（TD Learning）
1998年 : 两人合著的《强化学习导论》第一版由MIT Press出版
2003年 : 萨顿加入阿尔伯塔大学，任计算机科学教授
2018年 : 《强化学习导论》第二版出版
2024年 : 巴托与萨顿因"开发强化学习的概念与算法基础"共同获得ACM图灵奖
📋 安德鲁·巴托 (Andrew Barto)
| 出生 | 1948年 |
| 现职 | 马萨诸塞大学阿默斯特分校荣休教授 |
| 国籍 | 美国 |
| 领域 | 强化学习、机器学习、人工智能 |
| 荣誉 | IEEE Fellow、AAAS Fellow |
| 2024年 | 共同获得ACM图灵奖 |
📋 理查德·萨顿 ( Richard Sutton)
| 出生 | 约1957年，俄亥俄州托莱多 |
| 现职 | 阿尔伯塔大学教授、Keen Technologies研究科学家 |
| 国籍 | 美国/加拿大(2015年入) |
| 领域 | 强化学习、机器学习、人工智能 |
| 荣誉 | 英国皇家学会院士（FRS）、加拿大皇家学会院士（FRSC） |
| 2024年 | 共同获得ACM图灵奖 |
"人工智能领域有两种方法：一种是用人类的知识来教导机器，另一种是让机器自己从经验中学习。强化学习属于后者——这也是它更接近人类真正学习方式的原因。"
来源： 巴托和萨顿的生平信息基于麻省理工大学出版社官网、两人在UMass和阿尔伯塔大学的官方个人主页、ACM图灵奖官方公告、《加拿大百科全书》萨顿词条、DBLP学术论文库等。两人合著的《Reinforcement Learning: An Introduction》被引用超过75,000次，是该领域引用量最高的教科书。
巴托的故事：从船舶工程到算法奠基人
安德鲁·巴托1948年出生于美国。
他最初在大学主修的是船舶建筑与工程（Naval Architecture and Marine Engineering），一个与计算机科学毫不相关的领域。然而，一次偶然的阅读经历改变了他的人生方向。
🔧 从造船到模拟大脑
在阅读了迈克尔·阿比布（Michael Arbib）、麦卡洛克（McCulloch）和皮茨（Pitts）关于大脑与计算的著作后，年轻的巴托被深深震撼了。他意识到，自己真正感兴趣的不是设计船舶，而是理解"智能"本身——用计算机和数学来模拟大脑活动。
于是，他毅然转向数学和计算机科学。1970年，巴托获得密歇根大学数学学士学位；1975年，他在同一所大学获得计算机与通信科学博士学位，博士论文研究的是细胞自动机（Cellular Automata）——一种启发自生物学的计算模型。他的导师之一是约翰·霍兰德（John Holland），遗传算法的发明者，同时也是"涌现"（emergence）概念的提出者。这种跨领域背景，培养了巴托贯通生物学与计算科学的宽广视野。
🏛️ 扎根马萨诸塞
1977年，巴托加入马萨诸塞大学阿默斯特分校信息与计算机科学学院，担任博士后研究员。1982年成为副教授，1991年升任正教授。2007年至2011年，他担任计算机系主任。
在马萨诸塞大学(UMass)，巴托共同领导了自主学习实验室（Autonomous Learning Laboratory，最初名为自适应网络实验室）。正是在这个实验室里，强化学习的几个关键思想逐渐成形。他培养了数十名博士生，其中许多已成为计算机科学领域的重要贡献者。2012年，巴托正式退休，成为荣休教授。
关于巴托背景： 巴托从船舶工程转向计算机科学的经历，基于其在密歇根大学官方档案记录及其本人访谈。他的导师约翰·霍兰德的影响在多篇学术回忆文章中被提及。
萨顿的故事：被心理学"点燃"的探索者
理查德·斯图尔特·萨顿（Richard Stuart Sutton）约1957年出生于美国俄亥俄州托莱多市。他的父亲是企业高管，母亲是一名英语教师。童年时期，因父亲工作变动，家庭多次搬迁，最终在萨顿七岁时定居于伊利诺伊州橡树溪（Oak Brook）。
📚 高中邂逅计算机：一个不眠之夜
萨顿第一次接触计算机是在高中时期。他被计算机的本质深深吸引：一台机器只能精确执行指令，但这是否意味着机器可以拥有"思想"？这个问题让年少的萨顿彻夜难眠。
然而，当他进入大学时，计算机科学学位项目在美国极为稀缺。于是，他选择了斯坦福大学，攻读心理学。他相信，理解人类和动物的学习机制，或许是回答"机器能否思考"这一问题的关键。
💡 被A. 哈里·克洛普夫(A. Harry Klopf)"点燃"
萨顿转向强化学习，受到了一位当时鲜为人知的研究者的影响——A. 哈里·克洛普夫，美国空军机器智能部门的高级科学家。克洛普夫在1970年代提出了一个在当时极为异端的观点：监督学习不足以解释智能行为；真正的智能，必须由"行为的享乐方面"——即对奖励与惩罚的趋避——来驱动的试错学习（trial-and-error learning）。
萨顿被这个观点彻底打动了。他意识到：这正是他一直在寻找的框架。
"当我读到斯金纳的行为主义实验时，我突然意识到，这可能就是机器学习的答案——不是从数据中统计规律，而是通过试错来学习最优行为。" — 理查德·萨顿
🎓 师从巴托
1978年从斯坦福大学获得心理学学士学位后，萨顿进入了马萨诸塞大学阿默斯特分校攻读研究生。他选择了安德鲁·巴托作为导师——一位同样认为"试错学习"是通往智能正确道路的计算机科学家。
萨顿在巴托的指导下，先后获得了计算机科学硕士学位（1980年）和博士学位（1984年）。他是巴托指导的第一位博士生。他的博士论文长达210页，题为《强化学习中的时间学分分配》（Temporal Credit Assignment in Reinforcement Learning），其中正式引入了Actor-Critic架构和时间差分学习的概念。
他们的相遇：1980年代，志同道合的"叛逆者"
当时的AI领域由"符号主义"统治，人们忙于用逻辑和规则手动编写智能。巴托和萨顿都是"叛逆者"——他们坚信，通过与环境的直接互动、通过试错来学习，是更本质的智能路径。
两人的合作天衣无缝：巴托擅长将模糊的想法转化为严谨的数学框架和可运行的算法；萨顿则贡献了来自心理学的深刻理论洞察和永不枯竭的好奇心。
"我们开始合作的时候，AI领域几乎没人看好我们。大家都说'基于试错的学习'太过简单。但我们都知道，我们的方向是正确的。" — 安德鲁·巴托
时间差分学习：萨顿的核心贡献
1988年，萨顿在其博士论文及相关论文中正式提出了**"时间差分学习"**（Temporal Difference Learning，简称TD Learning）。这一概念后来成为现代强化学习的核心基石。
🧠 什么是时间差分学习？
它的核心思想极其简洁：用预测来学习预测。
想象你在看一场足球赛。你不需要等到比赛结束才判断输赢。每次进球、每次红牌，你都会立刻更新对最终结果的预测。TD学习正是如此——它利用接连不断的"预测误差"（TD误差），一步步逼近真实评估，像一个人不断根据新线索修正自己的看法。
💡 这种"持续更新"的机制，使得智能体能够在不确定的环境中不断优化自己的决策，逐步接近最优策略。
Actor-Critic架构：两人共同的杰作
1983年，巴托、萨顿与查尔斯·安德森共同提出了Actor-Critic（演员-评论家）架构。这一架构将决策分解为两个协作部分：
🎭 Actor-Critic：思维的双人芭蕾
Actor（演员）：负责决策。像一个学生，面对环境不断尝试做出选择。
Critic（评论家）：负责评估。像一位严厉而公正的教练，不断给演员的表现打分。
- Actor观察当前状态，做出一个动作。
- Critic评估这个动作的优劣，给出一个"分数"（即TD误差）。
- Actor根据教练的分数，调整自己的行为策略（策略梯度）。
这种"边做边评、在评价中学习"的架构，精妙地模拟了人类和动物通过实践获得技能的过程。直到今天，它仍然是强化学习最主流的算法框架之一。
他们的传奇著作：《强化学习导论》
1998年，巴托与萨顿合著的《Reinforcement Learning: An Introduction》由MIT Press出版。
这本书系统地构建了强化学习的完整数学框架，从动态规划、蒙特卡洛方法到时间差分学习，层层递进。它不仅是教科书，更是一部学科"宪法"，定义了现代强化学习的语言和理论边界。
"我们写这本书的初衷，是为了让强化学习变得更容易理解。真正的理解，来自对原理的掌握，而不是对技巧的堆砌。" — 巴托和萨顿
关于《强化学习导论》： 据MIT Press统计，该书已被引用超过75,000次，是全球数百所大学强化学习课程的标准教材。2018年出版的扩充第二版，至今仍是该领域的绝对权威。
萨顿的道路：思想家的"苦行"
🌍 从美国到加拿大
与巴托长期扎根于UMass不同，萨顿的职业生涯更为"漂泊"。在获得博士学位后，他先后在AT&T香农实验室的人工智能部门担任首席技术人员（1998-2002年）。2003年，他做出了一个出人意料的决定——离开美国，加入加拿大阿尔伯塔大学，担任计算机科学教授，领导强化学习与人工智能实验室。
萨顿在后来接受采访时坦言，部分原因是"远离我所称之为的美国帝国"（to get away from what I would call the U.S. empire）。他欣赏加拿大更平等的科研资助体系——不是"赢家通吃"，而是将小额资助更广泛地分配给更多研究者。2015年，他正式加入加拿大国籍。
🎓 大卫·席尔瓦：萨顿的学生
在阿尔伯塔，萨顿建立了世界顶尖的强化学习研究团队。他的博士生之一，大卫·席尔瓦（David Silver），后来在Google DeepMind领导开发了AlphaGo，在2016年击败了围棋世界冠军李世石，震惊了世界。
📖 《苦涩的教训》与AGI的执念
萨顿从未掩饰他对**通用人工智能（AGI）**的执着追求。他不认为强化学习仅仅是一项"优化技术"，而是通往真正智能的必经之路。
2019年，他发表了一篇名为《苦涩的教训》（The Bitter Lesson）的文章，激烈批评了试图将人类知识手工编码进AI系统的做法。他写道："70年的人工智能研究表明，利用计算的通用方法最终是最有效的，而且领先优势巨大。"他认为，试图用自己的思维方式限制AI，是人类自大的表现；真正的突破，来自让机器通过大规模计算和自博弈去发现我们无法想象的解决方案。
2023年，他宣布与游戏行业传奇人物约翰·卡马克（John Carmack）合作，在Keen Technologies共同开发AGI，目标是在2030年前实现AGI原型。
巴托的荣誉：奠基者的勋章
🏆 巴托的学术荣誉
巴托的学术贡献获得了广泛的国际认可。他获得的荣誉包括：
- 2004年：IEEE神经网络学会先驱奖（IEEE Neural Network Society Pioneer Award），表彰其对强化学习的奠基性贡献。
- 2014年：国际神经网络学会Hebb奖（INNS Hebb Award）。
- 2017年：IJCAI-17卓越研究奖（IJCAI-17 Award for Research Excellence），表彰其在强化学习理论与应用方面的开创性影响。
- 2019年：马萨诸塞大学神经科学终身成就奖（UMass Neurosciences Lifetime Achievement Award）。
- 2024年：与萨顿共同获得ACM图灵奖。
他是IEEE Fellow、AAAS Fellow、AAAI以及美国神经科学学会成员。
强化学习的黄金时代：从AlphaGo到ChatGPT
🤖 从AlphaGo到大语言模型
在巴托和萨顿奠定理论基础数十年后，强化学习迎来了全面爆发：
- 2016年，AlphaGo：萨顿的学生大卫·席尔瓦领导的DeepMind团队，让AlphaGo使用强化学习击败围棋世界冠军李世石，成为AI史上的里程碑。
- 2020年代，大语言模型：ChatGPT等大语言模型能够精准遵循人类指令，其背后最关键的技术之一就是人类反馈强化学习（RLHF）——这直接源于巴托和萨顿开创的强化学习范式。
- 强化学习的应用版图：今天，强化学习已渗透到机器人运动技能学习、网络拥塞控制、芯片布局设计、金融交易、在线广告投放、全球供应链优化，甚至矩阵乘法算法优化等几乎所有领域。
- 2024年，图灵奖：ACM正式授予巴托与萨顿"计算机科学的诺贝尔奖"——图灵奖，以表彰他们"开发强化学习的概念与算法基础"。颁奖词中强调，他们"在1980年代开始的一系列论文中引入了强化学习的主要思想，构建了数学基础，并开发了重要算法"。
萨顿的最新洞见：进入"经验时代"
🌟 2025年外滩大会演讲
2025年，萨顿在外滩大会主旨演讲中提出了一个新的论断：人工智能正从"数据时代"进入以持续学习为核心的"经验时代"。
他尖锐地批评了当前大语言模型依赖人类数据进行训练的范式，称之为"一条死路"。他认为，真正的智能体必须通过自我博弈（self-play）和与环境的实时交互来生成自己的"经验"数据，而不是被动地从人类提供的静态语料中"喂养"。
在2024年图灵奖颁奖典礼上，萨顿还公开呼吁优先考虑人工智能安全，并警告不要让商业利益主导技术的发展方向。这位毕生研究"奖励最大化"的科学家，始终在思考：究竟谁的奖励，才值得被最大化？
💭苏格拉底式反问
关于经验时代： 萨顿说AI正在从"数据时代"进入"经验时代"。在这个新时代，数据不是静态的语料库，而是智能体与环境交互过程中动态生成的体验。你认为这种转变意味着什么？
关于奖励函数： 强化学习通过奖励和惩罚来引导学习。但什么是"正确的"奖励函数？如果我们给AI一个错误的奖励目标会发生什么？萨顿研究了一辈子"奖励最大化"，他晚年呼吁AI安全，这是否说明他意识到了这个问题？
关于两位"叛逆者"的成功： 在1980年代符号主义统治AI领域的时代，巴托和萨顿坚持"试错学习"的方向，忍受了多年的质疑和忽视。这告诉我们什么？当你相信一个方向正确但不被认同时，你会如何坚持？
"真正的智能体必须通过自我博弈和环境交互自主生成'经验'，而非被动消耗人类数据。" — 理查德·萨顿，2025年外滩大会
强化学习 vs 监督学习
📊 两种学习范式的本质区别
强化学习（Reinforcement Learning）：从环境交互的奖励/惩罚反馈中学习，优化长期累积奖励。智能体通过试错学习，发现哪些行为能带来最大回报。
监督学习（Supervised Learning）：从人工标注的"正确答案"数据中学习，优化预测准确性。模型被动接受"标准答案"，不涉及环境交互。
💡 类比：监督学习就像学生通过背答案备考；强化学习则像运动员通过比赛和教练反馈来提升技能——后者更接近人类在真实世界中学习的方式。
💭
关于试错与创新： 萨顿批评依赖人类数据的AI是"死路一条"。他倡导的"经验时代"——让机器通过自博弈产生新数据——是否意味着机器能产生真正的"创新"？还是仅仅在探索人类设定的规则空间？AlphaGo下出人类从未见过的"神之一手"，这算创新吗？
关于目标与安全： 强化学习的核心是最大化奖励。萨顿本人在图灵奖领奖时呼吁关注AI安全风险，反对商业利益主导。如果奖励函数本身被用于创造数十亿美元的利润，我们如何确保AI追求的奖励与人类价值观长期对齐？
关于跨学科启发： 巴托曾是船舶工程专业的学生，萨顿本科读的是心理学。两人的学术根源都不在"正统"的计算机科学。这是否反而成为他们能看穿迷雾、开辟新道路的关键优势？今天的AI教育，是否太过于"专业化"？
关于《苦涩的教训》： 萨顿认为，"试图用我们自己的思维方式来限制AI，是人类自大的表现"。你同意吗？还是说，完全放弃人类的先验知识，让机器从零开始"暴力"搜索，才是真正的傲慢？
关于师徒传承： 萨顿的学生大卫·席尔瓦开发了AlphaGo，而萨顿本人又受启发于Klopf的心理學观点。这种跨代际的思想传承如何推动了AI的进步？你是否也有受到前人启发而突破的经历？
📚 知识回顾
本章知识点
✅ 麦卡洛克（Warren McCulloch）与皮茨（Walter Pitts） ：1943年共同提出首个神经元数学模型（M-P模型），将神经元功能抽象为"全或无"的逻辑门（输入加权求和后与阈值比较决定是否激活），开创了计算神经科学，为人工神经网络奠定了理论基础。但因当时AI主流是符号主义，且神经网络长期沉寂，其奠基性贡献在早期大众叙事中未被广泛传播
✅ 迈克尔·阿比布（Michael Arbib）：计算神经科学的主要奠基人与推动者，长期致力于搭建大脑与机器之间的桥梁；提出图式理论用于模拟感知-行动协调，并建立镜像系统假说（语言起源于古老的镜像神经元机制），主编《脑理论与神经网络手册》，深刻影响了神经科学与人工智能的交叉研究。但其工作高度跨学科、偏重生物机制与理论整合，在大众AI榜单中难以被简化概括，因此知名度远低于图灵
✅ 遗传算法：模拟生物进化中"选择、交叉、变异"机制的全局搜索优化方法，由约翰·霍兰德于20世纪60-70年代提出。算法不依赖梯度信息，能高效求解高维、非线性、多峰等复杂优化问题。在人工智能中，用于特征选择、神经网络权重进化、强化学习策略演化、组合优化（如旅行商问题）等任务，催生了"进化计算"子领域，成为与符号计算、联结主义并重的第三条AI技术路径
✅ 涌现：系统中由简单个体遵循局部规则相互作用，在整体层面自发产生出单个个体所不具备的复杂、有序行为的现象。其核心特征是"整体大于部分之和"，且没有中央控制。涌现是复杂系统、人工生命、进化计算等领域的核心概念，常见例子包括蚁群形成觅食路径、鸟群整齐飞行、神经网络训练出的智能行为、城市交通流模式等。在人工智能中，涌现解释了为何从简单的神经元或智能体规则中能产生高级认知或集体智能，也指导着多智能体系统、群体智能算法（如粒子群优化）的设计
✅ A. 哈里·克洛普夫（A. Harry Klopf）：美国科学家，现代强化学习的重要思想先驱。他早在20世纪70年代就指出智能系统应是"最大化某事物"（而非传统控制论中的稳态寻求），这一观点与强化学习中"最大化累积奖励"的核心思想高度一致；他对动物学习的研究为时间差分学习（TD Learning）提供了心理学根源。其理论著作《快乐神经元》将学习与追求奖励联系起来，深刻启发了萨顿与巴托等强化学习奠基人。但因他本人主要从事理论倡导与跨学科整合，而非提出具标志性的可计算算法，其贡献未能获得与图灵、麦卡洛克等同样广泛的大众知名度
✅ 斯金纳（B.F. Skinner）：美国行为主义心理学家，操作性条件反射理论的创始人，通过"斯金纳箱"揭示行为由奖励/惩罚塑造的规律。其试错学习思想是强化学习的直接心理学源头。但因从未涉足算法或计算机研究，且行为主义在认知革命后被边缘化，他对AI的奠基贡献在大众叙事中常被忽略
✅ 时间差分学习（TD Learning）：萨顿于1984年博士论文中首次引入、1988年论文正式提出。核心是"用预测来学习预测"，是强化学习的理论基。
✅ Actor-Critic架构：巴托、萨顿和安德森于1983年共同提出。演员（Actor）负责决策，评论家（Critic）负责评估，两者协同学习
✅ 蒙特卡洛方法：一类通过大量随机抽样来近似求解确定性问题或随机过程的统计模拟方法，以摩纳哥赌城命名。核心思想是利用重复随机试验，用统计结果逼近解析解（如计算圆周率π、定积分）。在人工智能中，广泛用于强化学习（如蒙特卡洛树搜索，是AlphaGo击败人类冠军的关键技术）、贝叶斯推理、粒子滤波、随机优化等领域。因其简单、通用且不依赖梯度信息，成为处理高维复杂问题的有效工具
✅ 《强化学习导论》：两人合著的领域"圣经"，1998年第一版，2018年第二版，引用超过75,000次，定义了现代强化学习的概念与数学框架
✅ 强化学习 vs 监督学习：前者从环境交互的奖励/惩罚反馈中学习，优化长期累积奖励；后者从人工标注的"正确答案"数据中学习，优化预测准确性
✅ 从AlphaGo到大语言模型：萨顿的学生大卫·席尔瓦是AlphaGo核心研发者；RLHF技术是训练ChatGPT等大语言模型的关键技术，直接源于强化学习范式
✅ 2024年图灵奖：巴托与萨顿因奠定强化学习的"概念与算法基础"，共同荣获计算机科学最高荣誉。
✅ "经验时代"：萨顿认为AI的未来在于智能体通过自我博弈和环境交互自主生成"经验"，而非被动消耗人类数据。他批评仅靠大语言模型的路径是"一条死路"
✅ 《苦涩的教训》：萨顿2019年发表的文章，批评将人类知识手工编码进AI系统的做法，主张利用计算的通用方法
— 第五章完 —