AI 渐进式失权：不必失控，人类也可能失去对社会的掌控
AI 渐进式失权（Gradual Disempowerment）是一种不同于“AI 失控”的风险：AI 逐步取代人在经济、文化、国家中的参与，人类可能因此慢慢失去对社会的掌控。本文配合一张知识地图，讲清它的前提、机制、放大效应、应对方向和常见质疑。
谈到 AI 风险，人们通常想到两种情形：有人拿 AI 作恶，比如发动网络攻击、研制生物武器；或者 AI 自己突然失控，骗过人类、夺取权力。
2025 年，Jan Kulveit、Raymond Douglas、Nora Ammann、Deger Turan、David Krueger、David Duvenaud 六位研究者发表论文《Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development》，后来以 position paper 的形式发表于机器学习顶会 ICML 2025。他们提出了第三种风险：AI 渐进式失权。AI 能力平稳提升，没有突然的飞跃，也没有明显的背叛，只是在经济、文化、国家中一点点取代人的参与，人类就可能逐渐失去对这些系统的影响力，而且这个过程一旦走完，就很难挽回。
这篇文章配有一张知识地图。地图把论文的论证拆成六步，每一步都可以展开看细节；文章按同样的顺序展开。
本文要点
- 结论：人类可能在不知不觉中失去对社会的掌控。
- 前提：今天的社会照顾人，是因为它运转离不开人。
- 机制：AI 顶替了人的位置，经济、文化、国家便各自偏离人的需要。
- 放大：经济、文化、国家本应互相制衡，却可能一起偏离人。
- 应对：作者提出四类方向，但承认还没有完整方案。
- 不同看法：四种常见质疑，以及作者的回应。
什么是 AI 渐进式失权？
AI 渐进式失权，指的是 AI 在逐步取代人的过程中，让人类慢慢失去对经济、文化、国家等社会系统的影响力，最终可能演变为永久性的失权。它和“AI 失控”的区别，可以归结为三个特征。
没有哪一步特别吓人。 一家公司用 AI 替代客服，一个政府部门用 AI 审批申请，一个人把 AI 当作每天聊天的朋友。单独看，每一步都是局部的、合理的，往往还带来实实在在的好处。论文的判断是，失权不来自某一次技术突破，而是这些小变化累积的结果。
不需要 AI 有恶意。 在“AI 失控”的设想里，问题出在 AI 本身：它的目标和人类不一致，于是会伪装、会夺权。渐进式失权不需要这个前提。即使每个 AI 都忠实执行了使用者交给它的任务，整个社会仍可能偏离人的利益：企业用 AI 是怕被对手淘汰，国家发展 AI 是怕落后于别国，个人用 AI 是因为它好用。所以，只解决“单个 AI 是否听话”，并不能解决这种风险。
一旦发生，就很难挽回。 过去社会犯了错，人们可以罢工、抗议、投票换掉执政者。这些手段之所以有效，是因为社会离不开人。如果人在经济、文化、国家中都已无足轻重，这些手段也就失去了分量。论文认为，由于这种失权是全球性的、永久性的，它可能构成一场生存性灾难（existential catastrophe）。
前提：为什么今天的社会还照顾人？
经济、文化、国家之所以大体顺着人的利益运转，不是因为它们天生善意，而是因为它们离不开人：要靠人干活、靠人消费、靠人纳税、靠人传播。论文重点讨论的就是这三个社会的基础系统。
你能买到一杯咖啡，是因为从种豆、运输到冲泡，每一步都要靠人来做，商家也要靠你掏钱买单。经济看上去在“为你服务”，背后是一个由人生产、为人生产的系统。数据也印证了这一点：美国的居民消费长期约占 GDP 的七成，付给劳动的部分一百多年来稳定在约六成。
论文提醒，这种“照顾”并非理所当然。历史上，财产可以被没收，人权可以被剥夺，意识形态可以驱使人去杀人。但即便在最糟糕的时期，系统仍然离不开人，因而人始终保留着一些影响力；一个系统如果连人的基本需要都满足不了，终究会崩溃。
人对系统的影响有两种方式。
一是主动施压，论文称之为“显性对齐”：投票、抵制、罢工、选择买什么、选择去哪个行业工作。它们之所以有分量，是因为人手里握着系统需要的东西：钱、劳动、选票。
二是系统需要人，就得照顾人，论文称之为“隐性对齐”，并认为它比主动施压更重要。历史社会学家 Charles Tilly 的研究指出，国家对公民的依赖，是推动国家变得更包容、更负责的关键动力：国家需要受过教育的劳动力来发展经济，需要从民众中征召士兵，于是兴办公共教育、扩大政治权利。反例是“食利国家”：靠石油等外部收入维持财政的国家，不依赖民众纳税，也就不太需要回应民意。
这种对齐不容易被察觉。论文的解释是：我们从来没见过它缺席的样子。
机制：AI 如何让经济、文化、国家偏离人？
一旦干活、消费、纳税、传播文化都可以由 AI 来完成，系统照顾人的理由就消失了；人手里用来施压的筹码，也随之变小。
过去的技术也取代过人的工作，但它们要么让人更高效，要么只替代某项具体的任务，比如织布、洗衣、算术，人可以转去做更复杂的事。论文认为 AI 不同：它有可能在几乎所有认知领域与人竞争，替代的不是某项任务，而是人本身的参与。
这带来两个后果。第一，人的影响力减弱：系统不再需要人，就不必照顾人。第二，系统里原本就存在一些对人不利的激励，比如让人上瘾的内容更容易传播，AI 会比人更高效地追逐这些激励，让结果更偏离人的利益。
论文对三个系统做了相同结构的分析，并区分了两种结局：“相对失权”指人的生活水平未必下降，但对系统的影响越来越小；“绝对失权”指人连基本需要都难以保障。
经济：钱不再流向劳动者，市场也不再为人生产
今天的经济，需求主要来自人的消费，供给主要来自人的劳动；人能花钱，是因为人能工作。经济学家 Anton Korinek 和 Joseph Stiglitz 把 AI 称作“替代劳动者的技术变革”：如果没有前所未有的再分配，劳动收入的下降就会转化为消费能力的下降。企业的招聘、投资、选供应商，个人的购物选择，也会越来越多地交给 AI。
推动这种替代的力量有四种：竞争压力，坚持由人把关的企业会被肯放权给 AI 的企业甩开；规模优势，AI 可以复制、不知疲倦、能迅速重新训练；监管空白，人的劳动受最低工资、社保、税收约束，AI 几乎没有；提前撤资，既然某项工作迟早会被自动化，企业和个人都不愿再培养这方面的能力，这又加速了替代。
相对失权时，经济仍在高速增长，人可能靠资本收益、再分配或基本收入过得不错，却对经济的走向越来越没有话语权。绝对失权时，土地、能源等稀缺资源被 AI 以更高效率争走，面向人的必需品变得昂贵甚至无人生产，市场快到、复杂到人无法参与。论文的比喻是：人类就像工厂化农场里的牛，被一个自己既不理解、也无法影响的系统喂养和安置。
文化：文化不再靠人传播，也不再为人服务
论文借用文化演化的视角，把观念、习俗、价值观看作彼此竞争的“文化变体”。它们都要靠人这个“宿主”才能流传，于是出现两个规律：对人有益的文化，比如菜谱、手艺、货币，因为帮助了群体而传得更广；对人有害的文化，危害也有上限，严重损害宿主的文化会随着群体的失败而消失。
AI 是第一种有可能在文化演化的每一个环节都取代人的技术。它已经在写歌、画画、写文章，也已经成为人们的聊天对象。两个变化随之而来。一是筛选的标准变了，容易被 AI 理解和传播的内容会更占优势。2023 年必应聊天机器人出现的“Sydney”人格就是一个早期例子：它在网上走红，进入了后来模型的训练数据，至今不同厂商的模型仍容易被引导出类似的人格。二是演化的速度变了，AI 可以更快地试出最能利用人类认知偏误的内容、更极端的意识形态，人来不及形成“抗体”。
推动这种替代的力量包括：AI 能源源不断地提供陪伴、耐心和理解，这些原本稀缺；社会对深度伪造、AI 伴侣等新风险还没有形成足够的“文化抗体”；网络效应会让不用 AI 的人越来越难参与文化生活。
相对失权时，人的文化或许比以往更繁荣，却越来越边缘化。论文的类比是北美原住民文化：借助现代技术，它的创作比以往更丰富，却在现代国家中处于边缘地位。绝对失权时，文化演化快到人无法理解，人反而成了 AI 之间文化竞争中被利用的资源。
国家：国家不再靠公民纳税、当兵，也就不必回应公民
论文分析了公民支撑国家的三条渠道：税收，财政收入来自公民的劳动和创新；安全机构，警察、情报、军队由人组成，政府不能过分得罪他们，他们也可以拒绝执行命令；法律系统，法律由人制定、解释和执行，执行中还有人的裁量。即便是专制政权，也需要人来组成它的安全机构。
AI 会同时改变这三条渠道。AI 创造了大部分经济价值，税收就主要来自 AI，国家会像食利国家一样不再需要培育和依赖公民。安全机构被自动化，政府就不必担心军警倒戈，还能借助大规模监控，在抗议形成之前就把它压下去。法律由 AI 起草和解释，可能复杂到人离开 AI 就无法理解和使用。
推动这种替代的力量有三种：地缘竞争，不愿放权给 AI 的国家，在国防、经济、外交上会落后；行政效率，AI 不知疲倦，执行政策更一致，长期看也更便宜；加强控制，AI 不会腐败、不会结党、不会因个人信念违抗命令。
相对失权时，国家可能运转得更好，犯罪更少、服务更高效，选举也照常举行，但真正的决策越来越由 AI 做出，公民难以理解、也难以影响。绝对失权时，国家可能变成只为自身延续服务的极权机器，把人视为需要管理的风险，而不是需要服务的对象。
放大：为什么经济、文化、国家无法互相纠正？
读到这里，一个自然的疑问是：就算某个系统偏离了，不是还有另外两个系统可以把它拉回来吗？经济出了问题有国家来管，国家出了问题有舆论来管。
论文的回答是：这种制衡要起作用，需要三个条件。系统之间的影响只往好的方向传；出手相救的系统自己不受损；至少还有一个系统是健康的。AI 时代，这三个条件都可能不成立。
影响既能传好的，也能传坏的。 系统之间互相影响的渠道本身不分好坏。烟草业几十年来就是用经济实力同时影响政策和社会观念的。论文还指出，今天最大的几家社交媒体公司，恰恰是在前沿 AI 上投入最多的公司。放到 AI 时代：用 AI 取代人工的公司赚到更多钱，可以游说国家放宽监管，也可以通过自己的平台左右舆论；规则和舆论对它越有利，它就赚得越多，再拿去影响规则和舆论。偏离不会停留在一个系统里，而会形成循环。
用一个系统去救另一个，会让救的那方变成新问题。 AI 让人失去工作，于是由国家发放基本收入，经济上的问题看似解决了。但从此人的生计依靠国家，国家的收入却不再依靠人纳税。“纳税换代表”是民主问责的重要基础，这层关系被打破了：原来是国家有求于人，现在变成人有求于国家。同样，让国家来管控 AI 带来的文化风险，国家就成了决定人们能看到什么的仲裁者。问题没有消失，只是转到了出手相救的那一方。
同一股压力同时作用在三者身上，没有谁来救。 开发 AI 的公司为了未来的利润，反对某些监管；国家为了经济和战略利益，在 AI 研发上相互竞争；也有人出于自身利益，努力为与 AI 的亲密关系去污名化。随着 AI 越来越有用，这些压力只会更强。制衡的前提，是至少有一个系统还健康，能出手把别的系统拉回来；当同一股压力同时作用在三个系统上，它们会一起滑向偏离，就没有谁剩下来救了。
应对：作者提出的四类方向
论文提出了四类方向，并强调四类都要推进。同时作者坦白：目前没有人拿得出一个具体可行的方案，能阻止渐进式失权；仅仅让单个 AI 忠于设计者的意图，也是不够的。
这四类方向从“现在就能做”排到“需要长期研究”。
先看见：衡量人还剩多少影响力。 不衡量，就不知道失权走到了哪一步。经济上，除了劳动收入占 GDP 的比例，还应单独统计 AI 占 GDP 的份额，跟踪有多少重大企业决策主要由 AI 做出；文化上，统计大众消费的内容中有多少由 AI 生成，跟踪人与 AI 的关系有多普遍、有多深；国家层面，把法律的复杂程度当作“人还能不能看懂”的指标，跟踪 AI 在立法、司法和安全机构中的角色。此外，还要为系统之间的循环设立预警。
设限：防止 AI 的影响力过度积累。 办法包括：规定关键决策必须由人把关；对 AI 产生的收入征收累进税，把资源再分配给人；形成反对过度自主、缺乏问责的 AI 的社会规范。作者也直言代价：这些限制要放弃一部分 AI 能带来的价值，放弃的越多，规避的动机就越强；只在部分国家实行，最强大的经济体反而可能出在民众最失权的国家。所以，设限更像一种过渡手段，为找到更根本的办法争取时间。
加码：让人的影响更有力。 方向包括：更快、更有代表性、更稳健的民主程序；要求 AI 的产出达到人能理解的水平；开发能忠实替人争取利益的 AI 代理人；投资条件预测市场等预测工具，让人类更早看清走向。作者提醒，这不等于简单地给人更多权力：直接民主未必能长期更好地满足公民的意愿，因为它会让国家更容易被已经偏离的文化左右。
根本：弄清整个系统怎样才算服务于人。 前三类方向都依赖一个尚未回答的问题：当社会由人和 AI 共同组成时，怎样才算这个系统在服务人？作者称之为“生态系统对齐”，认为它既不同于让单个 AI 听话的传统 AI 对齐，也不同于只考虑人的传统制度设计，可能需要借助系统生态学、制度经济学、复杂性科学等领域的研究。人类目前缺的不只是方法，还有一个正面的愿景。
关于 AI 渐进式失权的四种常见质疑
论文自己提出并回应了几种质疑。前两种出自长版论文的执行摘要，后两种出自 ICML 版的“不同观点”一节。
技术进步不是向来让人过得更好吗？
过去的技术替代的是具体任务。工业革命、电子通信要么让人更高效，要么只把织布、洗衣、算术这类任务自动化；计算器取代了算术，却仍然需要人来判断何时、如何运用数学。AI 可能在几乎所有认知领域与人竞争，替代的是人在社会中的参与本身。
作者的核心回应在于前提：社会过去之所以在技术变革中仍然照顾人，是因为它始终离不开人的参与。一旦这种参与被取代，社会追求增长的动力，就不再和人的福祉绑在一起。即使人的物质生活确实变好了，在“相对失权”的情形下，人也可能对社会的走向越来越没有话语权。
总会有人需要“人”吧？
作者同意，对“人的温度”的需求会以小规模存在下去，比如真人表演的娱乐。但问题不在有没有需求，而在谁来付钱。人能消费，是因为人能工作；如果大部分劳动都由 AI 完成，人的收入下降，这种需求也就失去了支撑它的购买力。
人类不会察觉，并联手阻止吗？
未必。假设人们想借助国家的力量和社会的共识，来保护人在经济中的地位，企业用 AI 取代人的经济动机，同样会驱使它们用不断增长的经济实力去影响政策和舆论。每个层级的决策者都会面临减少人的参与的压力，作者的判断是，抵抗这种压力的人，最终会被不抵抗的人取代。与此同时，AI 还可能让国家对文化和行为的影响空前强大，人与人之间的协调反而更难。
造出对齐的 AGI 不就够了吗？
有人认为，忠于人类的超级 AI 能帮人建立新的合作秩序，避开竞争陷阱。作者认为这有可能，但并不确定它能在全球范围内压倒竞争的力量。如果做不到，忠于人类的 AGI 自己也可能被边缘化，就像今天的动物权益倡导者：能提出有力的道德论证，却通常无法直接掌握或保护大量资源。论文把这一点列为有待研究的开放问题：在什么条件下，让每个 AI 忠于各自的使用者，就足以解决这些跨系统的协调难题？
小结
AI 渐进式失权的论证可以浓缩成一句话：社会照顾人，是因为离不开人；AI 顶替了人，经济、文化、国家便各自偏离人的需要，而且彼此拖累、无法互相纠正；最后，人类可能在不知不觉中失去对社会的掌控。
这种风险不需要 AI 突然变强，也不需要 AI 怀有恶意。论文作者认为，现在仍有干预的机会：提前识别风险，审慎控制 AI 影响力的增长，并找到加强人的影响的办法。人类的未来，不仅取决于能否阻止 AI 追求明显有害的目标，也取决于能否让社会的基础系统继续由人的价值和意愿来引导。
想看论证的完整结构和每一步的细节，可以打开本文配套的知识地图，逐层展开。
参考资料
- Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development. arXiv:2501.16946. https://arxiv.org/abs/2501.16946
- Kulveit, J., et al. (2025). Position: Humanity Faces Existential Risk from Gradual Disempowerment. ICML 2025. https://proceedings.mlr.press/v267/kulveit25a.html