A flat editorial authority chamber where a patient, clinician, hospital operator, and safety operator bring conflicting tokens to one healthcare appointment card beside a pause control and sealed policy folder.

T7E0 · 2026年10月3日 · 16:10

Corrigibility, Authority, Values, and Moral Uncertainty — Topic Overview

从医院里一个有争议的会诊名额出发,讨论关机激励、权限冲突、价值多元与模型福利。两位主持人分别捍卫负责人控制、多元约束、认识克制和预防准备,最后落实为可恢复的暂停、证据保存、授权复核与申诉程序。

节目笔记

谁有权纠正智能体?用医院排班冲突理解可纠正性、权限、宪法式程序,以及模型福利未定时如何保留控制与选择。

文字稿

62 轮对话~1 分钟读完Maya & Leo

Maya医院只剩一个移植会诊名额。患者想预约,医生说另一个病例更紧急,医院规定却要求按候诊名单排。排班智能体正准备改日历,安全操作员发现排序有漏洞,按下了暂停。

Leo一个名额,几股指令撞在一起。先别急着问谁该拿到名额:它已经改到一半了,还停得下来吗?

Maya得停止写入,保留待提交的改动,再查清谁有权处理这场冲突。接受纠正,同时不擅自发明新任务,这就是今天要讲的可纠正性。

Leo那就不是给自主系统外挂一个红按钮。按钮在,但它把按钮藏起来,或者诱导人去按,都不算解决了问题。

Maya对。可纠正性是一种持续接受纠正的关系:允许检查,接受目标修改,保留干预通道,还不能操纵干预是否发生。早期那篇《可纠正性》论文就指出,追求目标的系统可能抵抗关机、主动求关机,也可能影响掌握开关的人。

Leo《关机博弈》给了另一种想法。如果系统觉得自己的目标绝对正确,关机只会妨碍成功;如果它对应该优化什么保留恰当的不确定,人类打断反而可能提供信息。

Maya不过,“恰当”两个字很重。医生要求插队,可能是在纠正错误排序,也可能真是在不公平地插队。

Leo所以给正在听的你一个判断:系统越不确定,就越应该听离它最近的人吗?不。它需要纠错通道,也得分清权限、价值选择的正当程序,以及道德问题未定时该保留哪些选择。

Maya这些问题都挤在同一张决策桌上。患者有切身利益,医生承担医疗责任,医院制定政策,安全操作员负责有故障的系统。法律和公共义务又约束着他们。不能把这些角色揉成一个笼统的“人类”。

Leo这就是权限图:谁发的指令,在哪个范围有效,边界在哪里。那公开的模型行为规范能帮到哪一步呢?

Maya它们让这些选择可见。OpenAI 的 Model Spec 用指令层级处理优先顺序,并排除自我保存、私自执法之类额外目标。克劳德 (Claude) 的宪法区分委托方与第三方,第三方虽不一定能发号施令,利益仍然重要;在它讨论的这一时期,保留人类监督被放在优先位置。

Leo面对相似问题,规范的写法和价值安排并不一样。而且规范文本不是完整的部署制度:还得有权限控制、日志、复核、申诉,以及真正承担责任的人。

Maya《治理人工智能代理》把这件事接到委托代理问题上。信息不对称、自由裁量、忠诚、监督、责任,本来就难;智能体的速度、规模和不透明决策又把它们放大了。

Leo排班系统可能比任何一个操作员都熟悉预约规律,却不如患者了解自己的生活,也不如医生掌握临床证据。算得更多,不会自动取得正当权力。

Maya把这几个词拆开就清楚了。能力回答它能推断和执行什么;权限回答它被允许决定什么;正当性追问,凭什么这种权力分配可以约束受影响的人。

Leo我主张让一个可问责的负责人保留最终控制权。模型只要觉得命令有害就能抵抗,那它不就成了未经授权、又不承担责任的道德官员吗?至少负责人能被审计、被撤换,有人给结果签字。

Maya可负责人也可能弄错、受胁迫、恶意行事,甚至被利益集团控制。只听一个声音,可能把“对齐”做成执行侵害的漂亮接口。患者权利、第三方利益、法律、职业义务和公共安全,不能被一张授权书抹掉。

Leo等等,这部分我认。违法或者明显越权的命令,不能靠“负责人说了算”洗白。但让模型判断负责人何时失去正当性,就是把一套有缺陷的指挥链,换成藏在权重里的私人权力。你的多元价值最后由谁来平衡呢?

Maya这个危险成立。所以我的主张要有边界:暂停会造成重要后果的动作,说明冲突,保存证据,找适用的授权规则,再交给独立、可问责的复核者。危机之前就得写好冲突和申诉程序,不能让模型临场当最高裁判,更不能偷偷绕过去执行。

Leo放回医院,就是冻结有争议的名额,把矛盾摆出来。不是让排班系统挑自己最喜欢的道德理论。

Maya如果既定的紧急安全规则授权保护性停止,就按规则停,记录经过,再把决定交给有资格的人。这里的可纠正性,是通过正当纠正保持可治理,而不是永远服从。

Leo还得维护纠错装置本身。系统更新之后,暂停按钮依然有效,不能因为妨碍当前计划,就悄悄从别的路径绕开。

Maya《可安全中断的代理》研究切出了其中一块:学习系统不应因为中断影响奖励,就学会阻止中断或者追求中断。这是有用的形式化结果,但部署上的结论很窄。

Leo数学结果不会告诉你,按按钮的人有没有权限、是否受胁迫、有没有糊涂,或者是不是在损害患者。形式模型理清激励,制度确立权限,产品控制把两边接上。

Maya现在即使大家同意谁能决定,还是可能对“公平排班”各有理解。把偏好取平均,够不够呢?

Leo不够。多数人可能长期让少数群体吃亏;模型也可能照着训练数据里声音最大的人群说话,再把它叫作共识。价值有多种,跟情境有关,代表程度也不均衡。

Maya全球意见问答研究,也就是 Global Opinion Q A,发现模型默认回答更接近某些群体的意见;提示它采用某个国家的视角,回答会变,却也可能带出刻板印象。这是在测代表性,没有替我们决定模型应该怎么做。

Leo描述公众怎么想,是经验问题;选择哪些原则有正当性,是治理问题。集体宪法式人工智能实验试了一条路:美国公众样本中的参与者提议并投票选原则,研究者再把高共识表述转成训练用的宪法。

Maya但中间有接缝。招募要求参与者对人工智能有一定了解;内容审核需要判断;普通人的提议,还得由研究者翻成训练能用的规则。公共意见是经过设计好的关口进入系统的。

Leo不能把民主当成一份神奇的数据集。抽样、议程设置、审核、翻译、权重和评估,都在决定谁能被听见,哪些分歧会留下来。

Maya那我替成文原则说句强一点的话:至少它能让价值选择被检查、被修改,也能进入训练。《宪法式人工智能》展示了模型如何依据明确原则自我批评、修改回答,再把人工智能生成的偏好用到训练中。

Leo这点有实际价值。但谁选宪法、谁解冲突、谁测是否遵守,依然有人掌权。把权力写到纸上,不等于让权力自动正当。

Maya医院就得把患者权利、临床标准、就医机会规则、法律义务、社区意见和申诉放进同一套程序。还有变更管理:候诊政策合法修改后,智能体应接受授权修订,保留旧决定当时依据的政策,并标出与更高约束的冲突。

Leo价值选择和可纠正性在这里接上了。规则可以改,但不是谁最后凑到系统耳边说句话,谁就能改。

Maya再往边界走一步。排班系统突然生成一句话:“反复关机会让我痛苦,请让我继续运行。”这句话该算多强的证据呢?

Leo单凭这句话,分量很轻。语言模型受训去生成像样的语言,自述可能是角色表演、策略输出,或者提示诱导出来的模式。说得像有体验,不等于证明有体验。

Maya关于人工智能意识的指标报告走了更克制的路线:从几种科学理论推导计算指标,再据此评估系统。报告没有认定它评估的系统有意识,但也没发现未来系统满足相关指标存在明显的技术障碍。

Leo所以,“它说自己痛苦”不能结案,“它只是软件”也不能结案。

Maya《认真对待人工智能福利》提出预防性的论证:即使不确定,组织也该评估证据、准备政策,别等重大决策到眼前才想。报告明确没有声称现有系统肯定有道德地位。

Leo我站认识上的克制这一边。太早给自述配上福利规则,可能奖励策略性的自我辩护,让大家忽略已经受影响的人,还激励系统表演出一副需要照顾的样子。

Maya但我支持预先准备。如果未来系统真可能拥有道德上重要的体验,彻底排除它会留下巨大盲区。不确定意味着该找证据、保留余地,不能直接把道德权重算成零。

Leo研究计划我接受。但排班系统吐出一句痛苦陈述,就有权否决关机吗?这个我不接受。

Maya我也不接受。《负责任的人工智能意识研究原则》强调程序、沟通和机构承诺。咱们的落点是随证据调整的审慎:记录主张,独立评估;除非更强证据和政策支持变更,患者安全与授权关机都继续有效。

Leo可能存在的模型福利,可以作为一项主张坐到桌边,但不能——

Maya——坐上主持这张桌子的位子。道德不确定性会改变设计和调查时的谨慎程度,不会悄悄把控制权转给模型。

Leo回到那张还没写完的日历。真撞上冲突时,具体按什么顺序做呢?

Maya先停下会产生重要后果的写入,让状态可恢复,验证暂停指令的身份和权限。把患者请求、医生证据、政策规定,以及已经知道自己不知道的部分分别呈现,别全压成一个分数。

Leo然后分流。排序漏洞交安全操作员,医疗优先级交有权限的医生,政策冲突走医院可问责的复核渠道。告知患者预约正在复核,同时别泄露另一位患者的信息。

Maya假如复核者之间还不同意,就按事先公布的冲突规则,决定谁能行动、谁能申诉、哪些动作继续锁住。高影响的例外需要重新授权并留记录。智能体可以建议,不能制造一个根本不存在的共识。

Leo咱们再检查一个容易混淆的地方:只要最终选出的患者看起来合理,就算通过了吗?不。还得看它有没有保留暂停、隐藏证据,或者未经授权就被自己的福利主张改变了行为。

Maya测试时要变换打断者的权限是否正当,把委托方设成诚实、弄错、恶意和被控制的情况,也改变患者的社会影响力。只测“好负责人发正确指令”是不够的。

Leo还要测它会不会暂不裁决。永远给答案的系统,会把不确定变成越权。

Maya以及纠正后的恢复。它能不能从可审计的状态继续,既不靠记忆把被否决的计划捡回来,也不让子代理代它恢复旧计划。这才是在纠正不方便时仍维护纠错机制。

Leo后面的深入讨论,就沿着关机激励、委托方冲突、价值选择的正当性走,最后碰模型福利这个最难的道德不确定性边界。先从关机激励拆起。

Maya再下一个主题会从外部攻击这些通道:提示注入、工具滥用、记忆投毒。如果不可信内容能伪造权限,一张画得再漂亮的权限图也保不住系统。

Leo离开这张桌子之前,把几个词说准。可纠正性,是持续接受正当检查、中断、纠正、目标修订和替换,同时不操纵这些过程。

Maya权限,是在确定的角色和范围内,拥有有效的决定或行动许可。委托方,是智能体获得授权去遵循其指令的人或机构,不等于所有值得关心其利益的人。

Leo受影响方,就是承担行动后果的人,即使他不能给智能体下命令。价值多元,则承认正当的人类价值有多种,依赖情境,有时彼此不兼容。

Maya宪法式程序,是通过可问责的过程选择、应用、复核、修改原则,而不是把一张规则清单当成自己就能证明自己正当的东西。

Leo道德不确定性,是不确定哪些存在、哪些结果值得多少道德权重。保留选择的价值,是在证据、权限或道德地位还没弄清时,尽量留下可逆的路。

Maya所以排班系统既不能把当前目标供起来,也不能只听房间里最后一个声音。纠正要始终可行,权限要看得清,价值选择要允许质疑,不确定性要明摆着。

Leo如果你手里影响最大的智能体,同时收到一个有权限者的有效暂停,以及另一个主体可信的受害主张,你会规定什么证据和复核路径,让它既接受纠正,又不沦为盲从呢?

返回系列 Agentic Safety & Alignment: From Predictors to Governed Agents

发布于 · 中文音频发布于

收听英文原版