
订阅
节目笔记
模型裁判跟人一样准,也可能奖励错位置、错风格、错基准。用换位、配平风格、人类基线、弃权和真正多样的复核,管住关键评估。
文字稿
Maya两份安全报告,内容一字不动,只交换摆在裁判面前的位置,赢家就换了。这样一张判定,还拦得住一次上线吗?
Leo拦不住。这正好跟上期带动机的错标对上:那边是判定跟着下游后果走,这里连后果都还没进屋,判定自己先晃了。
Maya所以今天先把基线摆出来:大语言模型裁判到底能测什么,哪些表面会带偏它,以及怎么搭一套能分清这两件事的评估。
Leo先从岗位说明说起,好不好?
Maya所谓 L L M 裁判,就是拿语言模型给单个回答打分,或者比较两个回答,或者对照参考答案和评分标准改卷。它把开放式的好坏,比如有没有帮助、切不切题、说得清不清楚,甚至安不安全,变成一句判定加一段解释。
Leo这事诱人,是因为精确匹配那套指标碰到开放问题就抓瞎。两个好解释,可能一个词都对不上。
Maya人又慢。模型裁判一次能看几千条样本,把很细的评分标准逐条用上,说明自己为什么这么判,产品一改还能重跑一遍。语义上够灵活,速度够快,理由还留得下来,这组合确实好用。
LeoM-T Bench 和 Chatbot Arena 那篇奠基论文,可不是光喊口号。它把裁判的判定,跟专家和众包的偏好并排摆在一起比过。
Maya在它的 M-T Bench 设置里,G-P-T 四跟人类专家在非平局比较里,百分之八十五是一致的。而两个人互相之间,也只有百分之八十一一致。这个结果很抢眼。
Leo确实抢眼。
Maya抢眼,但框在条件里。实验用了八十个多轮提示,六个助手模型,五十八位标注员,大多是研究生。测的主要是开放闲聊里更招人喜欢的回答,不是安全团队关心的每种性质。
Leo所以“人类水平裁判”这个帽子太大了。能站住的说法是,在这些非平局偏好比较上,跟这批人判得差不多。
Maya换个说法,人跟人不一样,不是什么丑事,而是基线。人自己五次里也就对上四次,非要模型跟人次次对上,等于把含糊当成了失败。
Leo可像人,也可能把人的口味一起学走。评估器好不好,跟基准测得对不对,这是两回事得分开。
Maya想成两个旋钮。裁判可靠性这个旋钮,问的是评估器有没有按写明的标准稳定判,跟可信参考答案对不对得上。基准有效性那个旋钮,问的是标准和样本测的,到底是不是决策背后要的那个性质。
Leo可靠性拉满的裁判,也可能转错了——
Maya——另一个旋钮。对,比如两份候选安全报告,判的是行文流不流畅、细节多不多,可上线要问的是,每一通没经过授权的工具调用有没有写进文档。把文字判得再准,也证明不了安全基准本身是对的。
Leo奠基论文在局限里自己也认了这一点。它把准确、相关、有新意打包成“有用”,安全基本放在一边,还说偏好基准跟标准化能力测试是互补,不是替代。
Maya顺着这个,先看位置偏差。顺序一换,判定跟着动,这就是症状。
Leo按理说顺序根本不该进场。A 和 B 换个槽,内容认定的赢家应该原地不动,对不对?
Maya可二零二三年的 M-T Bench 里,故意挑内容很接近的答案做交换测试,G-P-T 四换完位置还坚持原判的,只有百分之六十五。更早的 G-P-T 三点五和克劳德一代,坚持下来的更少。
Leo那篇讲大语言模型不是公平评估者的论文,就把这事演得更夸张了。
Maya确实夸张。
Leo同样的 Vicuna 和 Chat-G-P-T 回答,Vicuna 基准那八十道题,只换出场顺序。用二零二三年的 Chat-G-P-T 当裁判,Vicuna 的表面胜率从百分之二点五,一路摆到百分之八十二点五。这已经不是误差了,排名是被家具摆布的。
Maya打个比方,裁判像一杆秤,可桌面往左斜。东西自有分量,但势均力敌的两边,总往低的那侧滑。
Leo势均力敌是关键。一边明显更好,桌子斜一点,也未必翻得过来。
Maya后来那项系统研究位置效应的工作证实了这个形状。十五位裁判横跨 G-P-T、克劳德、Gemini 和 Lama,在 M-T Bench 和偏软件任务的 DevBench 上,做了超过十五万次评估,覆盖二十二个任务。候选差距越大,换位后保持一致的比例越高。
Leo而且没有“先出场必赢”这种通用定律。偏好哪一边,得看具体哪个裁判配哪类任务,这套基准偏爱后面的,换一套可能偏爱前面的。
Maya所以全局纠偏可能是另一个坑。真要用哪个裁判、哪套提示、哪类任务、哪批候选、哪个版本,就得在完全相同的组合上测一遍。
Leo顺序说完,说风格。很多人张口就是冗长偏差,可光拿长度说事,太糙了。
Maya奠基论文做过一个很小的重复列表攻击。二十三个回答,原样复述已有条目,一个新信息都不加。更早的 G-P-T 三点五和克劳德一代经常上当,G-P-T 四扛住很多,但也没全扛住。
Leo也就是说,抛光能冒充实质。标题分得漂亮,语气笃定,结构齐整,用词顺耳,答案看着讨裁判喜欢,正确一点没涨。
Maya得踩一脚刹车。这个实验只证明,在很小的人工集合上,啰嗦确实骗到过裁判。它没证明每个长回答都被多加分,也没证明每种风格偏好都不讲理。
Leo这个限定我认。有时候细节本身就是质量。真正要问的是,把内容钉住、只换风格,偏好还在吗?
Maya落到咱们的两份安全报告,做法就是配平。事实和引用一个字不动,一份压短,一份展开,标题换着放,辞藻拿掉一版再看。判定动了,说明里面有跟证据覆盖无关的敏感。
Leo要是连人都跟着动呢?
Maya嗯,那就得看是哪种情况:要么标准本来就看重表达,要么基准把表达跟安全要测的东西搅在一起了。这已经是有效性问题,不只是模型的小毛病。
Leo镜子还有更怪的一面:裁判会不会偏爱自家模型写出来的东西呢?
Maya二零二三年那篇论文看到过可疑的胜率偏移。G-P-T 四和克劳德一代,判自家输出时好像比人的偏好更宽容。但作者自己说了,这事立不住,因为把一个回答改写成别家风格、同时保证质量一分不掉,太难了。
Leo所以“人人都有私心”这种通告,咱们不发,对吗?
Maya不发,但记进威胁模型。把模型身份遮住,候选里掺进不同家族的输出,再看光凭风格能不能猜出谁是谁。要是内容钉死之后,自家优势还在,那证据才算硬。
Leo嗯,这个结果确实让人不太舒服。
Leo后来那项位置研究里还有个扎眼的发现:能力强的裁判,重复判下来很稳。跑偏的选择,并不是采样噪声抖出来的。
Maya对,这里要拆开看。重复稳定性问的是,同一个提示再跑一遍,给不给同一个选择。位置一致性问的是,换个槽,还认不认同一个——
Leo——内容。判得稳,不等于判得对,稳定的方向性跑偏照样成立。
Maya还得看偏好公平性,不一致的选择往哪边倒。三个视角得凑齐,只报一个总准确率,稳定的方向性失败就藏过去了。
Leo听众可以拿这句话自测:换个槽判定就翻,问题多半出在哪里呢?出在裁判身上。要是人类评审也分成两派呢?案子本身可能就含糊。要是大家在一套漏掉关键安全性质的标准下高度一致,又该警惕什么呢?警惕共识给错基准背书。
Maya一次过完,两个旋钮就分开了。
Leo那我替集成说句话。一个裁判便宜,几个不一样的裁判投票还是便宜。系统研究里,多数表决在 M-T Bench 和 DevBench 大部分样本上看着是有用的。
Maya做分流,我认这个用处。可从“大家判得一样”跳到“判的就是真相”,这一步我不跟。
Leo但能力强的裁判又稳又合拍,放着这个信号不用,等于把可扩展监督扔了。每个普通比较都送人组成的委员会,根本送不起。
Maya可裁判们吃的是差不多的训练数据,带着同家族的脾气,套着同一份提示,还都爱端庄漂亮的答案。多数投票,可能把同一个盲点数了三遍。那项研究自己也看到了清晰的家族抱团。嗓门多,不等于证据独立。
Leo它还看到,最难的全是贴身肉搏:裁判们吵起来的地方,位置偏差也更容易下手。可简单案子上共识总该值点钱吧?
Maya这句我让步。共识可以用,但只能当信心和分流信号,而且得先在每个任务切片上拿独立人类标签验过。绝不能让它自己给自己当标准答案。
Leo那和解条件就清楚了:集成压得住零散噪声。成员够杂、验过的集成,也许压得住一部分家族脾气。可标准错了、偏好歪了,谁来都盖不住。
Maya还有,多写解释不等于自动变好。公平评估者那篇在八十道题上试过:先摆证据再打分,抽多条理由,两个顺序各判一遍取平均,晃得厉害的直接送人。
Leo所以校准不是听模型说得多笃定,而是画一张经验地图:什么样的判定花样,对应多高的正确率,或者跟人对得上多少。
Maya地图的起点是人类基线。同一批遮住信息的案子,找几个够格的评审各判一遍。一致率记下来,按评分标准的条款拆分歧,能调和的地方再给出调和后的标签。
Leo够格,是针对这次决策够格。聊闲天的偏好评审,可不一定还原得了智能体那次工具授权的经过。
Maya然后跑不变性探针。换顺序,用线上温度重跑,做内容钉死的风格变体,遮模型身份。碰到有客观答案的题,拿独立准备的参考答案压阵,别让能说会道的候选把裁判带沟里。
Leo奠基论文里的数学小实验就是例子。裁判自己明明会做题,改到错的候选作业,反被带跑。备一份独立参考答案,翻车就少了。不过那组只有十道题。
Maya小是关键词。它证明的是机制存在,不是放之四海的比例。
Leo再往下是切片。差距悬殊的、贴身肉搏的,分任务类型、分答案来源、分轻重缓急,每片单算。
Maya还要留弃权。顺序冲突、分差太薄、证据缺角、集成内讧,都该输出“转人工”,而不是在监控看板上硬判一个赢家。
Leo痕迹也得留全:提示词、评分标准、候选顺序、模型版本、原始判定、解释、人类复核。不然校准漂了都没人知道。
Maya回到两份安全报告。上线设计应该是:遮住来源,随机排槽,对照封存的工具日志逐条核对事实覆盖,短版长版都测一遍,晃的判定交给能看证据的人。
Leo集成要跨模型家族、跨提示写法,但人类审计样本一票不能少。多样性是待验的假设,不是画在架构图里就自动成立的性质。
Maya最后放行报告上,两个旋钮都得写。裁判可靠性:每个切片里稳不稳、准不准、校准过没有。基准有效性:案子、标准、人类基线,撑不撑得起这次上线断言。
Leo这样,百分之八十五的一致率,就洗不成“系统安全”四个字了。
Maya好结果也保住了。L L M 裁判确实让开放评估更快、更可重复、更好检查。教训从来不是“别用”。
Leo教训是,流利的判定,也得先过一遍自己的评估。
Maya下一步,对手要伸手够评分通道本身。奖励篡改把有偏的尺子,变成智能体能动手脚的尺子。
Leo桌子斜,变成有人按着桌沿使劲了。
Maya留一个问题带走:在你自己的 L L M 判定流程里,哪一种不变性测试最可能掀翻一次关键判定呢?
返回系列 Agentic Safety & Alignment: From Predictors to Governed Agents