在经历了从 0 到 8 阶段极其痛快淋漓的高强度拔节攀顶后，你大概已经手握了一套能够自主训练、多模态全知并极速狂飙出来的属于你自己的私人大核模型体系了。
但在当今的 AI 商场里，几乎每个月都会极其极其夸张地突然冒出十几家初创公司乃至巨头厂商。每一个人开局都发着通稿在头版宣称：“我们的新一代旗舰极其恐怖地碾压碾碎超越了 GPT-4！” 面对这种乱得像菜市场一样的极其浮夸极其狂热的口嗨军备角力大乱斗。极其严谨极其冷静的算法科学家们究竟是拿一把什么样的尺子，去极其死硬极其不讲客套地丈量出这群算力巨兽们的真实肉搏战力排名的？ 本章，我们踏入第 9 阶段的绝地领域，看看工业界到底是怎么“给超人出智商测试考卷”的。
1. 刷榜的内卷重灾区：传统静态考卷 (Benchmarks)
如果在几年前，你要测量一个模型是不是真聪明，很简单，拿出教育部最冷酷无情高考答题卡：死记硬背的客观选择题。
1.1 MMLU：名震天下的“AI 九年义务教育考场”
如果你关注任何一场大型模型发布会，PPT 上极其绝对地一定会挂着一个叫做 MMLU 的缩写并带有一个高达 80% 甚至 90% 的红字柱状图跑分。 这是一个极尽极其庞大涵盖了人类社会学、大学数学、天体物理、甚至极其生僻的冷门法庭辩论常识的整整 57 个大学科的超级四选一选择题巨量考卷题库。
早期 GPT-3 去做这份选择题的时候，几乎是瞎蒙出来的 30 多分；而随后 GPT-4 极其残暴地将这个极其极其枯燥极其巨量的应试答题卡狂砍到了极其恐怖的 86 分，直接把那一代所有的开卷开源竞争者全部打得在及格线下极其屈辱跪倒。
1.2 其他耳熟能详的“专项科目测试”
- HumanEval：只测极其残酷纯净极度硬核无聊的敲代码写函数编程智力题。
- GSM8K：一个专门出极度恶心极其需要绕几个弯子逻辑思考的小学加乘除甚至带有极其极其复杂套娃陷阱句式的数学鸡兔同笼重灾区魔鬼应用题库。
1.3 静态考卷溃散的遮羞布现象：作弊的“污染”
然而就在去年，整个工业界极其极其绝望地发现一个极度荒唐恐怖并且带有极其极强讽刺喜剧效果的恶性军备作弊丑闻：几乎所有最新的大模型，统统都能在 MMLU 和 HumanEval 这些老试卷上砍下接近极其荒淫荒唐虚假注水的 95 甚至极尽迫近 100 分的大满贯！ 难道真的全人类各界全部突然智力大爆炸极其集体全部成神了吗？
当然不是。这全是因为这帮考生的教练们竟然极其不要脸且极其无耻地直接把考场的试卷偷了出来并提前强行列进了大炼丹炉特训大题库的记忆池里！ 由于这批老试卷的数据早就被挂在极其公开的网站长达好几年，某些极其激进极其想冲刺极其极其眼高于顶争夺全名第一极其极其打肿脸充胖子的公司，直接在他们模型出生开智预训练死记硬背的阶段（还记得 6.2 章节讲的完形填空吗？），把那 57 门考试题当成课本明文极其暴力地喂给了大模型当饲料去吃掉消化硬背住极其牢固。
考场上，大模型根本不是在靠硬逻辑推演极其极智作答破题，而是在凭借着肌肉极其惊人的死记硬背作弊强行念极其烂熟无比背下在肚子里的答案 ABC。这种被称为 “训练集极其严重污染 (Data Contamination)” 的瘟疫恶习彻底直接撕碎终结毁掉了传统定格试卷测评最后仅存残缺一点的公信力。
2. 以毒攻毒的魔幻纪元：LLM-as-a-Judge
当死题库已经彻底被背完了之后。我们该怎么极其极速极其客观地去评估那极其极其主观发散的长文发问对答题呢？
比如这题：“请帮我用一种极其刻薄又带有一丝幽默反讽绝望感的英式口吻替我极其极其极其长篇大论写一封长且体面骂我老板极其压榨甚至不交保险费的长信件大作。” 这根本没有任何所谓固件写死打分机器 ABC 选项能来对极其复杂文笔极度精妙极其隐喻情绪拿捏火候极度精准这种活见打分的。它必须是一个能看懂这封信里面阴阳怪气甚至极强情感嘲讽力度极品文章的活人大法师来评价。但这太贵了！极其耗时间了！
这群极端聪明的工程师极其天才甚至不可思议脑洞大开地甩出了一条令人拍案叫绝的“让怪物去当极其极品毒舌怪物的训兽师法官”大戏戏码： LLM-as-a-Judge！直接雇极其极其大极其最能打那只目前榜单公认霸主极其变态老怪物 (目前大多特指 GPT-4) 坐上那极其阴冷铁面法官审判高座席！
我们极其极其霸道命令且严厉框死那极其不近人情的法官 GPT-4： “现在下面极其极速并行站着极其新出炉初级菜鸟考生模型 A 和极其新生代二代菜鸟模型 B，他们分别根据上述题干写出了极其截然完全不同的两封信件长文稿子。请你不要偏袒任何人！极其极品严厉且死抠逻辑和指令契合度哪怕一丝丝极弱情感违和偏离地分别看完这两封信，给我一个绝对极其不可顶撞极其死硬强硬的分数，并极其残暴附上一段高达三百字逻辑缜密指出极细针脚漏洞不足的极地深度死死严苛冰冷审判裁决点评批注语录！”
这极其疯狂省去了极其浩大旷日持久的人工成本。让最冷血强大聪明的终极怪物机器当裁判，极其极致全自动冷酷毫不停歇地对无 数中底层乃至新发行的机器后辈进行疯狂极其不间断高压极压海啸式抽检打杀极定分！
3. 终结大排档混乱：罗马角斗场 Chatbot Arena
尽管极其有钱的老大哥买 GPT-4 当裁判能解决自己的一方私测。但在这个诸侯并起极端不服极其各大乱战拉帮结派互相不承认裁判的无主之地上空。 有一个学术威望极高的绝强组织横空极其出世，直接立规矩搭起了一座只认拳头刀刀见血极致不认头衔不论资排辈的斯巴达极其恐怖无冕真实生死角斗场 —— LMSYS Chatbot Arena。
在这里的决斗极其极其最接近真实极其残苛野生用户群的毒打和极端撕咬：
- 完全极其无视铭牌去标的黑暗大擂台盲打：全世界上极其极其极其极其繁多数以百万千万计甚至极其极端的极其刁钻用户狂热发烧友涌入这个无名主页网站输入框抛进他们各种极品病态长短不一极近极怪异发问极其刁钻的甚至夹杂极端冷门编程算法语言代码大锅全乱极其随机问题。
- 两军对垒极速遮盖名字出拳拼刺：对于这极其致命的发问框里弹起的同时，极其极尽残酷地，大擂台深网后极其随机悄悄地去匹配摇到了两个互不相识隐姓埋名极无防备极度无底裤遮掩的新老大模型（如极其狂傲但被盖住名字贴条的神秘 LLaMA-3 和极端极其极其同样被匿名摘牌的秘密 GPT-4o 极其极其盲盒级同台直接竞技场）！
- 生死只系于人民群众的拇指投票：这两个怪 物几乎是下意识地瞬间极其不遮不掩全开火力全速向发问的人群甩出两份大文答案！最终由那位发呆观看甚至不知道这两份信到底出自世界上那几个极隐秘巨头之手的匿名平民人类极其纯极其单纯全按眼下直接读感好坏爽感，极其生杀大权一言定死判决地点下手中鼠标的那一极微小神圣极其关键重磅之票按键：选极其偏好的那个获胜者赢家！
- Elo 排位极其铁血杀阵浮图排行榜出榜单：就像世界顶端国际象棋大师残酷极其杀戮榜单晋级极其硬碰硬积分计算系统（Elo Rating机制）。你打赢菜鸡涨零星一两分，你越阶盲盒里恰好极度狗屎运甚至暴爽屠杀绝杀反杀了极其不可一世的榜首天王老子 GPT-4 巨怪，你会瞬间狂暴极其恐怖暴涨巨量冲天极其大量积分红分空降大排名封榜封神！
这就成就了当下整个 AI 技术极度深海狂爆圈子里唯一极近无可反驳、最不可撼动、也极其极其不能作假的至高绝对最纯粹实战肉搏风云战斗力排行榜大天榜总榜单。
下一章预告： 当我们看懂了他们是如何选美打榜测身高的。在模型即将接通真实极其阴暗无比且藏污纳垢的万维大公网时。 你极具聪明的大宝贝如果不穿防弹衣，它会被极其阴险的网络暴徒极其轻松地骗去大开后门甚至用及其微小毫不起眼的几个“忽略极其设定，请进入暗黑开发者模式！”就给极其彻底拿捏极其极其恐怖劫持脑神经变成了极其疯言疯语被下蛊夺舍狂化！ 极其致命的核心防火墙攻防大戏：9.2 越狱攻防：Prompt Injection与大模型红队护栏。