Vals AI 发现 MiMo v2.6 的强化学习训练环境会泄露答案

星***

vals.ai – 7 Oct 26 (https://www.vals.ai/blogs/mimo-reward-hacking)

Two-Thirds of MiMo v2.6's Coding Tasks Leak the Answer. Are Models That... (https://www.vals.ai/blogs/mimo-reward-hacking)
In two-thirds of the coding environments Xiaomi released for MiMo v2.6, the fix is still readable in the task's Git history, and MiMo finds it.
看下来大致意思是：虽然 MiMo 考虑到了要防止模型作弊，但删 git 历史的时候没删干净。如果历史版本有残留，可能会被 MiMo v2.6 挖出来。如果历史版本没了、但留下了异常的修改时间，也相当于给模型提示了。
或许这就是开源的好处，让全世界研究人员一起帮忙发现问题 体现了 MIUI 开发版的精神

徐***

有远大理想不要告诉别人，否则会得到嘲笑和泼冷水。