Google Research 发布 AI 评测基准设计路线图：多少评注者才够用

Google Research 开源了「Forest vs Tree」仿真器，研究了在预算有限时增加评测项数（N）与增加单项评注者数（K）的权衡。研究发现传统 1 到 5 名评注者的做法往往不足以捕捉人类意见的细微差别，若目标是测量人类意见的全貌（如复杂性/细微度），每项可能需要超过 10 名评注者；而若只关注主流多数投票，增加项数则更有效。