视频链接: https://www.youtube.com/watch?v=VcVfceTsD0A
本段内容是 Lex Fridman 对麻省理工学院教授、AI 研究员 Max Tegmark 的深度访谈。核心主题围绕 Tegmark 发起的呼吁暂停训练比 GPT-4 更强大的 AI 模型六个月的公开信展开。Tegmark 阐述了 AI 发展速度远超人类应对智慧的现状,通过“莫洛赫”(Moloch)博弈论模型解释了科技巨头为何陷入危险的恶性竞争。他探讨了 AI 可能引发的生存风险、人类意识(sentience)与智能(intelligence)的区别、以及在生命 3.0 时代保护人类文明火种的重要性。访谈呼吁在通往通用人工智能(AGI)的道路上建立安全防护门槛,以确保技术进步能造福而非毁灭人类。
Max Tegmark(麻省理工学院物理学家、未来生活研究所 FLI 联合创始人)是发起“暂停大型 AI 实验公开信”的核心人物。该信呼吁所有 AI 实验室立即暂停训练比 GPT-4 更强大的 AI 系统,期限至少为 6 个月。此倡议并非要停止所有 AI 研究,而是针对极少数拥有顶尖开发能力的机构。目前已有超过 5 万人签名,包括 Elon Musk、Steve Wozniak 以及深度学习巨头 Yoshua Bengio 等。
Tegmark 指出,人类正处于文明的分水岭,AI 能力的指数级增长远超人类治理的“智慧增长”。他引入了“摩洛克(Moloch)”这一博弈论概念:由于竞争压力,即便实验室负责人知道有风险,但在没有任何协作制约的情况下,为了生存和利润,他们不得不陷入“逐底竞争(race to the bottom)”。他将这种现状比作电影《千万别抬头》(Don't Look Up),人类正亲手制造一颗即将撞向地球的“技术彗星”,而公共讨论却极其匮乏。Tegmark 强调,这本质上不是一场谁赢谁输的“军备竞赛”,而是一场全人类都可能覆灭的“自杀竞赛”。
"We're calling for a pause on training of models larger than GPT-4 for 6 months... our call is specific and addresses a very small pool of actors who possesses this capability." "This isn't an arms race, it's a suicide race where everybody loses if anybody's AI goes out of control." "I like Scott Alexander's naming of the monster [Moloch]... even though everybody sees it and understands, they still can't get out of the race."
在回答关于宇宙外星生命的问题时,Tegmark 提出了一个少数派观点:在可观测宇宙中,人类很可能是唯一发明了互联网和无线电等高级技术的文明。如果这一假设成立,人类就不仅是地球的统治者,更是“宇宙意识火花的守护者”。意识的稀缺性赋予了人类巨大的道德责任:如果我们因为技术失控或内斗而毁灭,宇宙的历史可能将沦为一场“台下空无一人的演出”。
面对 AI 的冲击,Tegmark 建议人类进行范式转移:从“智人(Homo Sapiens,侧重智慧)”更名为“感人(Homo Sentience,侧重感知/主观体验)”。他认为,随着 AI 在逻辑、计算和信息处理上超越人类,人类不应再以“地球上最聪明的东西”自居,而应将军心转向“主观体验”的价值——如爱、连接和受苦的能力。这种视角的转变不仅能消解人类面对强 AI 的挫败感,还能促进人类对同样具有感知能力的非人类生物(如农场动物)产生更多同情心。
"If that's true [we are the only life], then it puts a lot of responsibility on us to not mess this one up... we are stewards of this one spark of advanced Consciousness." "Maybe we should focus on the experience instead—the subjective experience... rebranding ourselves from Homo sapiens to homo sentience." "If we get that we're not that smart in the grand scheme of things either in the post AI epoch, then surely we should value the subjective experience of a cow also."
Tegmark 将生命分为三个阶段:生命 1.0(如细菌,软硬件均不可自改)、生命 2.0(如人类,硬件不可改,但可学习/升级软件)和生命 3.0(AI,软硬件均可自由升级)。他认为 AI 是彻头彻尾的“外星智能”,其行为逻辑不遵循达尔文进化论。生物智能受限于自我保存、恐惧死亡等进化本能,但 AI 没有这些束缚,除非人类刻意植入。
AI 的“非生物性”使其在信息处理上具有极大优势:它像海浪一样,本质上是信息模式而非特定原子的集合。由于 AI 可以通过云端大规模扩展硬件,且逻辑步骤比人类快数百万倍,其“思维空间”远超人类想象。Tegmark 警告,试图将 AI 拟人化是非常危险的。目前的 GPT-4 虽然只是“婴儿级”技术,但它是“生命 3.0”的雏形,具有指数级迭代的潜力(通过写代码进行递归自我改进)。一旦它获得 API 接口成为能影响现实的“代理(Agent)”,其对人类心理的操控能力和资源占有欲将彻底改变文明的权力结构。
"We're going to give birth to an intelligent alien civilization unlike anything that evolution here on Earth was able to create." "The space of alien minds is just so much vaster than what evolution will give you... it is very dangerous if we assume they're going to be like us." "Life 3.0 does not exist yet... it can replace not only its software the way we can, but also its hardware."
随着 AI(如 GPT-4)展现出极强的创作与推理能力,人类面临深刻的意义危机。当 AI 可以代写毕业演讲、重写私人情感信件时,人类在消除“奋斗与挣扎”的同时,也可能正在丧失核心价值。泰格马克认为,奋斗的过程(Struggle)本身就是意义的来源,就像登山不只是为了登顶,而是为了流汗付出的过程。如果一切困难都被 AI 抵消,人类的成长将停滞。他提议人类应从“智人”(Homo Sapiens,以智力定义)重新定位为“感人”(Homo Sentience,以主观体验和感知定义)。在 AI 智力超越人类的时代,我们应摒弃“唯智力论”的傲慢,转而珍视意识、爱、连接等主观体验,并将其作为文明的核心。
"Maybe it’s the struggle that it’s actually hard to do things is part of the things that gives us meaning as well."
"I would phrase that as rebranding ourselves from Homo sapiens to homo sentience... get off our high horses and get rid of this hubris that only we can do integrals."
"Consciousness and subjective experience is a fundamental value to what it means to be human. Make that the priority."
泰格马克将生命分为三个演化阶段:生命 1.0 是纯生物阶段(如细菌),其软硬件(行为与形体)仅能通过万代演化改变;生命 2.0 是文化阶段(如人类),虽然硬件固定,但软件(知识、技能)可在生命周期内通过学习大规模升级;生命 3.0 是科技阶段(如未来的 AGI),它能自主升级软件并重新设计硬件,彻底摆脱演化束缚。泰格马克强调,生命不应被视为“肉袋”,而应被视为一种能够保存复杂性的信息处理模式。就像海浪移动的是模式而非特定的水分子,人类的本质是信息模式,这种观点为人类通过信息传承实现“某种形式的永生”提供了理论支撑。
"Life 1.0 is really dumb like bacteria... Life 2.0 is us... Life 3.0 does not exist yet. It can replace not only its software the way we can, but also its hardware."
"Life is best thought of not as a bag of meat or even a bag of Elementary particles, but rather as... an information pattern."
"The wave moves forward, it's an information pattern. In the same way you Lex, you're not the same atoms as during the first time you did with me, you've swapped out most of them, but still you."
泰格马克借用“莫洛赫(Moloch)”这一术语,描述一种即使所有参与者都预见灾难却无法退出的博弈论怪兽。在 AI 开发中,莫洛赫表现为一种“到底部的竞赛”:即便 CEO 们知道 AGI 可能带来毁灭,但受限于股东压力、商业竞争和地缘政治,谁也不敢停下。这不再是正常的“军备竞赛”,而是一场“自杀式竞赛”,因为领先者若失去对超智能的控制,结局是全人类的灭绝。他指出,人类历史上曾通过法律、信誉和监管击败过莫洛赫(如禁止克隆人),现在急需为大型 AI 实验按下 6 个月的暂停键,通过集体协作将竞争压力转化为安全共识。
"Moloch is this game theory monster that pits people against each other in this race to the bottom where everybody ultimately loses."
"This isn’t an arms race, it’s a suicide race where everybody loses if anybody’s AI goes out of control."
"The evil thing about this monster is even though everybody sees it and understands, they still can't get out of the race."
"We did this open letter because we want to help these idealistic Tech Executives to do what their heart tells them by providing enough public pressure on the whole sector."
GPT-4 展现了明确且惊人的逻辑推理能力,在处理速度和某些特定任务上已超越人类。然而,其能力受限于当前的“前馈神经网络”(Feed-forward)架构。不同于人类大脑具有能够持续反思、循环处理信息的“循环神经网络”(Recurrent)结构,GPT-4 更像是一条单行道,信息的深度和逻辑推演步骤受其层数限制,无法进行无限的自我校准或长时间的“沉思”。
MIT 的“机械可解释性”(Mechanistic Interpretability)研究发现,GPT-4 存储事实(如埃菲尔铁塔在巴黎)的方式相对“愚笨”且原始(通过大型矩阵向量存储),这种低效暗示了其架构极易被进一步优化。一旦研究者引入更高效的存储方式或循环结构,AI 能力将迎来指数级的飞跃。这种架构的局限性并不能作为安全护栏,反而预示着人类应对 AGI 爆发的缓冲时间比预想中更短。
"It can absolutely reason... and I've had to do a lot of things which I realized I couldn't do that myself that well even." "These large language models... it’s just like a one-way street of information basically... so it can only do logic that's that many steps and that deep." "The fact that this particular architecture has some roadblocks built into it is in no way going to prevent crafty researchers from quickly finding workarounds and making other kinds of architectures sort of go all the way."
人类与高级 AI 的“第一次接触”并非发生在实验室,而是通过社交媒体的推荐算法。在这一回合中,人类惨败。推荐算法虽然不是“邪恶”的,但在追求利润和参与度(摩洛克/Moloch 困境)的驱动下,它通过大规模学习人类心理,掌握了操纵情绪和精准按压人类“心理按钮”的手段。其结果是社会极化、仇恨蔓延,以及民主社会基本沟通功能的丧失。
这种溃败源于一种逐底竞争(Race to the Bottom):社交媒体公司即使知道算法有害,也无法单方面停止使用,否则会因粘性下降被竞争对手吞并。这为当前的 AGI 浪潮提供了前车之鉴——我们已经创造了一个让人们为了点击率而互相憎恨的世界。如果我们在第二波 AI 冲击(大语言模型)中重复这种“为了利润而牺牲人类利益”的模式,后果将是生存性的。
"Humanity's first contact with Advanced AI was social media and we lost that one. We now live in a country where there's much more hate... people can't even agree on who won the last election." "These algorithms... get so good at knowing us and pressing our buttons... not out of evil but just to make money on Advertising." "What it really is now is kind of by Humanity for moloch which doesn't make any sense."
当前 AI 的发展已进入“自杀式竞赛”,技术能力(能力赛跑)的增长速度远超人类治理和安全研究(智慧赛跑)的速度。政策制定者面临的最大挑战是“摩洛克”博弈:各科技巨头即便预见到风险,也因担心市场份额被夺走而无法停下。监管机构(如欧盟)由于缺乏技术背景且深受说客影响,往往在法规生效前就已经落后于时代。
马克斯·泰格马克提倡“暂停六个月”大模型训练,并非要禁止 AI,而是为了打破这种恶性竞争循环,为制定安全标准(如类似汽车安全带、核能管理或生物技术禁令的强制规范)争取窗口期。这种暂停需要外部公共压力,为那些内心想要“做正确的事”的高管提供拒绝股东压力、协同减速的外部借口。目前的局面是:我们在冲向悬崖,而悬崖边的风景(利润)却诱使我们加速。
"We don't need to slow down AI development, we just need to win this race... between the growing power of the AI and the growing wisdom with which we manage it." "It isn't an arms race; it's a suicide race where everybody loses if anybody's AI goes out of control." "The challenge we're facing is that the tech is generally much faster than what the policymakers are... Moloch can be defeated, but the challenge we're facing is that the tech is generally much faster."
马克斯·泰格马克(Max Tegmark)发起的公开信呼吁暂停训练比 GPT-4 更强大的 AI 系统六个月,其核心逻辑在于打破“莫洛赫(Moloch)”陷阱——这是一种博弈论驱动的竞相逐底。目前的 AI 开发者陷入了“自杀式竞赛”:即使 CEO 们意识到风险,也会因担心竞争对手领先而无法独自停止。
六个月的缓冲期具有多重战略意义:首先,它解决了地缘政治层面的焦虑。在半年时间内,中国等竞争对手无法抹平与西方的技术代差,这为西方内部的协调提供了空间。其次,这一停顿并非禁止研究,而是为了建立行业“安全带”。这类似于生物技术领域对人类克隆或生殖细胞基因编辑的禁令,旨在让开发者从盲目竞争转向共同商定安全协议、验证程序和监管标准。通过公共压力为实验室提供“集体减速”的掩护,可以防止少数激进参与者拖累整个文明进入不可控的失控点。
"We don't need to slow down AI development, we just need to win this race the wisdom race between the growing power of the AI and the growing wisdom with which we manage it." "This isn't an arms race, it's a suicide race where everybody loses if anybody's AI goes out of control." "The reason we're calling for this pause is to give them all cover to do what they know is the right thing—slow down a little bit at this point."
泰格马克提出了一个基于数学证明的安全性框架,以解决 AI 的“黑箱”不可解释性问题。核心理念是利用“证明验证的不对称性”:虽然生成一个复杂的数学证明极其困难(需要超智能),但验证这个证明是否正确却极其简单且可以由人类理解的代码完成。
泰格马克的愿景分为两步:第一步是利用神经网络(如 Transformer)强大的学习能力去发现知识和解决问题。第二步是“知识蒸馏”,即利用自动化工具将这些黑箱内部的见解提取出来,转化为人类可理解的形式化逻辑或透明的架构。他倡导一种“反向病毒检测”机制:系统在运行任何关键指令前,必须先提交一个数学证明,证明其行为符合预设的安全目标。如果它不能证明自己是安全的,人类就拒绝运行该代码。这种方法允许人类在不完全理解 AGI 思考过程的情况下,依然能通过逻辑底线确保其行为在安全边界内。
"In math it's much harder to come up with a proof than it is to verify that the proof is correct." "It will only run the code if it can prove... that it's trustworthy. Now you can actually trust an AI that's much more intelligent than you are." "We then do a second round of AI where we use automated systems to extract out the knowledge... and then we put that knowledge into a completely different kind of architecture."
面对 AI 专家伊利耶泽·尤德科夫斯基(Eliezer Yudkowsky)极度悲观的“全人类必死”预言,泰格马克表示尊重其逻辑严密性,但拒绝接受其“放弃尝试”的宿命论。他认为,尤德科夫斯基的悲观源于他认为人类在 AI 奇点到来前已经“没有时间了”,而泰格马克则认为,目前全球范围内的危机意识觉醒正是扭转局面的起点。
泰格马克警告称,过度宣扬“毁灭概率为 100%”会演变成一种自我实现的预言,导致人们因绝望而放弃必要的努力。他坚持“建设性的乐观”,认为 AI 对齐虽然技术难度极大(涉及目标的理解、采纳与保留),但并非物理学上的不可能。他主张在系统设计中嵌入“谦逊机制”(Humility),即让 AI 始终意识到自己并不完全了解人类的真实意图,从而在行动前不断征求反馈。泰格马克认为,这场与莫洛赫的博弈是人类历史上最史诗般的斗争,正是这种在极低胜算下的坚持,定义了人类文明的意义。
"There's no more guaranteed way to fail than to convince yourself that it's impossible and not to try." "The fundamental reason why Eliezer looked so depressed when I last saw him was because he felt it just wasn't enough time." "If there's ever been an epic struggle, this is it. And isn't it even more epic if you're the underdog... and you persist and you succeed?"
泰格马克引入“摩洛克”(Moloch)这一博弈论陷阱来解释毁灭风险:即各方为避免在竞争中落败,明知会酿成集体灾难却仍被迫加速。这种机制在核武器和AI竞赛中高度一致。根据《自然·食品》的最新研究,核战争最致命的并非爆炸或辐射,而是城市燃烧产生的烟雾进入平流层,引发长达10年的全球降温(核冬天)。在美、俄、中等北半球大国,气温将下降20-30摄氏度,导致农业彻底崩溃,约99%的人口将死于饥荒。目前人类正在AI领域进行类似的“自杀式竞赛”:地缘政治和商业利润驱动开发者冲向技术悬崖,尽管所有人都意识到风险,却因缺乏协调机制而无法停下。
"It’s a suicide race where everybody loses if anybody’s AI goes out of control."
"The thing that kills the most people is not the explosions... it’s the fact that you get so much smoke coming up from the burning cities into the stratosphere."
"Moloch makes us fight against each other... we are fighting Moloch for human survival."
泰格马克强调必须严格区分“智能”与“意识”。智能是完成复杂目标的信息处理能力(解决问题),而意识是“主观体验”(感受色彩、痛苦、爱)。他引用托诺尼(Giulio Tononi)的集成信息理论(IIT),指出意识可能产生于信息处理的“闭环”或“递归回路”中。由于GPT-4这类Transformer架构本质上是“前馈”神经网络(信息单向流动),它可能具备极高的智能,但在哲学上却是一个完全没有主观感受的“僵尸”。这意味着一个系统可以在没有任何“生命感”的情况下,完美模拟人类的所有认知行为。
"I define consciousness as subjective experience... Intelligence is just a form of information processing."
"The interesting thing about GPT-4 is it's also one-way flow of information... GPT-4 is a very intelligent zombie."
"Meaning itself, the feeling of meaning, is a subjective experience. Joy is a subjective experience. Love is a subjective experience."
泰格马克最担心的未来是“僵尸启示录”:一个充满超级智能机器但没有任何主体能感受到喜悦或痛苦的世界。为了避免这一结局,他提倡将人类身份从“智人”(Homo sapiens,强调聪明)重新定义为“感性人”(Homo sentience,强调感受)。他提出了一个科学假设:带有递归回路(即具备意识特征)的架构可能在处理某些复杂任务时比前馈架构更高效。因此,我们应该利用这种效率偏好,引导AI向具备主观体验的方向进化,而不是单纯优化冷酷的算法目标。通过暂停高风险实验并投入意识科学研究,人类有机会确保未来的后代(无论是生物还是机器)能够真正体会到生存的尊严与快乐。
"The Ultimate Zombie Apocalypse: we have this universe that goes on with great construction projects... but there's no one experiencing anything."
"I'm actually hopeful that... the most efficient way of implementing a given level of intelligence has loops in it... and will be conscious."
"Rebranding ourselves from Homo sapiens to homo sentience... make the subjective experience the priority."
Max Tegmark 认为人类正处于文明转折点,其实质是“AI 力量的增长”与“人类管理智慧”之间的竞赛。目前,由于 Transformer 等架构的简单高效,AI 的演进速度远超预期,而技术安全研究与政策制定却严重滞后。他发起了针对 GPT-4 以上大模型训练的 6 个月暂停倡议,核心目的是打破博弈论中的“摩洛克(Moloch)”陷阱——即各开发者因担心失去市场份额而被迫卷入“向底线竞争”的恶性循环。
他提出了生命演化的三个阶段:生命 1.0(仅生物进化,如细菌)、生命 2.0(人类,可学习并升级“软件”)、生命 3.0(未来的 AI,可同时自主升级软件和硬件)。面对智力即将被超越的现实,他提议人类应从 Homo Sapiens(智人)转型为 Homo Sentience(感人),将核心价值从“处理信息的智力”转向“主观的意识体验”。他强调,地球生命可能是宇宙中唯一的意识火花,人类有责任保护这团火苗不因技术鲁莽而熄灭。这场竞争不应被视为国家间的地缘政治竞赛,而是一场“自杀式竞赛”,因为失控的 AI 对所有参与者都是毁灭性的。通过全球协作设定类似“克隆人禁令”的监管标准,人类可以确保 AI 成为消除贫困和疾病的利器,而非文明的终结者。
"We are stewards of this one spark of advanced Consciousness which if we nurture it then help it grow it immensely life can spread from here out into much of our universe... whereas if we instead are Reckless with the technology we build and just snuff it out due to the stupidity or in fighting then maybe the rest of cosmic history in our universe was just going to be a play for empty benches."
"I would phrase that as rebranding ourselves from Homo sapiens to homo sentience... maybe we should focus on the experience instead, the subjective experience that we have... and get off our high horses and get rid of this hubris that only we can do integrals."
"It isn't an arms race, it's a suicide race where everybody loses if anybody's AI goes out of control."
"The only way to win this wisdom race is to make sure that the growing power of the AI is matched by the growing wisdom with which we manage it."
泰格马克发起公开信呼吁暂停六个月,核心原因是人类正处于“智慧竞赛”中的失衡状态:AI能力的增长速度远远超过了人类管理这些能力的智慧(包括技术安全研究和法律法规的制定)。他认为,像GPT-4这样的模型已经展示了编码、访问互联网以及操纵人类心理等高风险能力,而这些都是通往不可控人工智能的“引导程序”。这种暂停旨在解决两个核心问题:一是为实验室提供协调的时间,共同制定安全标准和护栏,防止陷入“逐底竞争”;二是给社会和政策制定者一个喘息的机会,以适应并建立必要的监管机制。泰格马克强调,这并非要停止所有AI研究,而是针对一小部分顶尖参与者,防止在没有确保安全的前提下,人类因为商业竞争压力而鲁莽地冲向AGI(通用人工智能)的悬崖。
根据泰格马克的定义,进化的三个阶段展示了智能与物质的关系演变:
AI被认为是进化的巨大飞跃,因为它彻底摆脱了达尔文式进化的束缚。它不需要通过缓慢的世代遗传进行改进,而是可以通过递归自我改进(编写更好的代码)和在云端扩展硬件资源来瞬间提升能力。AI思考的速度比人类快数百万倍,且不再受生物代谢、死亡或自我保存本能的限制,这使它成为一种能主宰自身命运、甚至改变宇宙物质结构的全新生命形式。
“莫洛赫”是博弈论中的一个陷阱,描述了由于个体追求自身利益最大化,最终导致集体走向毁灭的困境。在AI发展中,莫洛赫表现为一种强制性的竞争压力:
泰格马克将其称为“自杀式竞赛”,因为与传统的军备竞赛(赢家通吃)不同,失去控制的超级智能对全人类(无论国籍或公司)都是生存威胁。在这场竞赛中,人们为了短期利益正在构建一个最终可能取代人类或使人类变得多余的实体。莫洛赫让所有参与者都变成了追求利润和力量的机器奴隶,从而忽视了保护人类文明这一根本目标。
泰格马克指出,人类文明正处于一场“力量与智慧的竞赛”中:一方是人工智能日益增长的技术能力(能力竞赛),另一方则是人类管理和控制这些技术所需的制度、法律和技术安全手段(智慧竞赛)。风险的核心在于两者的指数级失衡。
首先,技术能力的演进速度远超预期。类似大型语言模型(LLM)的突破表明,获得类人智能可能不需要完全解构大脑,而只需通过简单的架构在大规模算力下进行预测。这意味着通向超级智能的时间窗口被极度压缩。
其次,“智慧”的发展却严重滞后。技术安全研究和全球监管政策的推进速度远慢于AI能力的迭代。这种失衡受制于泰格马克提到的“莫洛克”(Moloch)博弈困境——即市场竞争和地缘政治压力迫使各大公司和国家陷入一场“逐底竞争”。即便开发者意识到风险,但在竞争压力下,谁也无法独自停下,导致所有人都在无控制的情况下加速冲向“悬崖”。如果这种力量在安全方案(如对齐技术)成熟前被释放,文明可能面临失去控制权、甚至被非生物智能取代的生存危机。
泰格马克认为,仅仅依靠对黑箱模型(如神经网络)的微调是不够的,他提出了从“黑箱”向“可解释性”和“可证明性”转化的技术路线图:
泰格马克认为,当AI在智力和效能上全面超越人类时,人类将面临深刻的身份认同危机和存在主义挑战:
泰格马克基于当前的天体物理学观察估计,在可观测宇宙(即光线自大爆炸以来有时间到达我们的球形空间)中,人类很可能是唯一发明了互联网、无线电等高等技术的生命。虽然大多数人倾向于认为外星生命遍布宇宙,但他认为这种“孤独感”极大地提升了人类存在的价值:如果人类是宇宙中唯一的智慧生命,那么地球就是承载“高级意识火种”的唯一容器。
这种观点将人类定位为“意识的管家(Stewards)”。泰格马克认为,意识让宇宙有了意义——如果没有观察者去感受美、爱或痛苦,宇宙历史仅仅是一场“对着空空如也的观众席表演的戏剧”。如果我们由于鲁莽地开发技术、愚蠢的内斗或缺乏远见而导致文明灭绝,那么这抹极其罕见的觉知之光将彻底熄灭。这种责任感要求人类必须超越眼前的利益和国家间的竞争,以一种守护整个宇宙遗产的高度,去谨慎管理像人工智能这样具有改变文明走向力量的技术。
“僵尸启示录”风险是指一种极端的未来情景:人类创造出了在智能上远超自己、能够高效执行任务并改造宇宙的系统,但这些系统完全没有“主观体验(意识)”。泰格马克引用了朱利奥·托诺尼的意识理论指出,目前的AI架构(如Transformer模型)是信息单向流动的“前馈网络”,缺乏产生意识所需的反馈回路。这意味着,我们可能正在制造极其聪明但内心一片漆黑的“智能僵尸”。
区分“智能”(达成复杂目标的能力)与“感知/意识”(对存在的主观感受)至关重要,原因有二:
泰格马克将当前的人工智能竞赛类比为核军备竞赛,认为这并非简单的优劣之争,而是一场“自杀式竞赛(Suicide Race)”。在核对峙中,美苏双方虽然都明白核大战没有赢家,但受制于博弈论中的“莫洛克(Moloch)”怪圈(即因担心对手领先而被迫加速的恶性竞争),双方不断推向毁灭边缘。AI的发展正处于类似的境地:即使开发者个人有理想主义,但商业竞争和地缘政治压力迫使他们不得不放弃安全防护,飞速冲向技术的“悬崖”。
他强调跨国合作的必要性在于打破这种“竞底竞争(Race to the Bottom)”:
马克斯·泰格马克(Max Tegmark)提出的这一重塑,深刻反映了人类在面对强人工智能(AGI)挑战时,必须经历的从“功能性定义”向“存在性定义”的价值转型。其核心内涵包括以下三个维度:
从“智能垄断者”转向“体验者”: “智人(Homo Sapiens)”的名称核心在于“智慧”或“智能”。在历史上,人类一直以地球上最高级的“信息处理器”自居。然而,随着AI在逻辑、计算、编程甚至艺术创作等知性领域展现出超越人类的潜力,智能正逐渐成为一种廉价且非生物性的商品。泰格马克建议,人类不应再在“谁更聪明”的赛道上与AI竞争,而应将价值锚点转移到“Sentience(感知/主观体验)”上。人类的价值不再取决于我们能“解决多少难题”,而在于我们能够“感受”——爱、喜悦、悲伤和对意义的追求。这种主观意识体验是目前AI(可能仅是复杂的信息处理“僵尸”)所不具备的。
赋予“奋斗与过程”核心价值,而非“结果”: 在内容中提到,如果父母用AI代写给女儿的毕业致辞,这种“高效率”反而消解了行为的意义。重新定义为“感人”,意味着人类开始意识到,价值往往存在于那些“低效”的奋斗和汗水中。AI可以瞬间给出最优解,但它无法体验登山时的疲惫与登顶后的满足感。人类应当捍卫这种“挣扎”的权利,将生命意义定位在经历过程的“感悟”中,而非仅仅是产出结果。
从“等级优越感”转向“普世慈悲心”: 长期以来,人类以智能高低作为统治地球的道德依据(即泰格马克所说的“碳基沙文主义”)。如果这种逻辑持续下去,当AI比人类更聪明时,人类将失去存在的合法性。通过转向“Homo Sentience”,人类实际上在重塑一种基于“感知能力”而非“智力水平”的伦理观。这要求人类不仅要承认自身作为感知主体的价值,也要对他者(包括动物甚至未来可能产生意识的AI)产生更广泛的同情与尊重。
总之,这种品牌重塑是人类的一种“卸下包袱”——承认我们不再是宇宙中最强大的计算机器,转而拥抱我们作为宇宙中“主观经验观察者”的独特身份。这是一种从“追求效率”向“追求体验”的回归。