亚洲财经

搜索

DeepMind试行“双盲”模型评测:AI榜单开始防范测试题泄漏

大模型评测有一个越来越尴尬的问题:当基准题目在网上流传、训练团队又能反复针对榜单调参时,高分究竟代表模型能力,还是代表它更熟悉考题?Google DeepMind在8月27日公布了一项“双盲”评测试点,试图把模型开发方和评测题库彼此隔离。……