Vals AI 发现 MiMo v2.6 的强化学习训练环境会泄露答案

星***

vals.ai – 7 Oct 26 (https://www.vals.ai/blogs/mimo-reward-hacking)

Two-Thirds of MiMo v2.6's Coding Tasks Leak the Answer. Are Models That... (https://www.vals.ai/blogs/mimo-reward-hacking)
In two-thirds of the coding environments Xiaomi released for MiMo v2.6, the fix is still readable in the task's Git history, and MiMo finds it.
看下来大致意思是：虽然 MiMo 考虑到了要防止模型作弊，但删 git 历史的时候没删干净。如果历史版本有残留，可能会被 MiMo v2.6 挖出来。如果历史版本没了、但留下了异常的修改时间，也相当于给模型提示了。
或许这就是开源的好处，让全世界研究人员一起帮忙发现问题 体现了 MIUI 开发版的精神

徐***

有远大理想不要告诉别人，否则会得到嘲笑和泼冷水。

mqjz***

先学习，后验证，最后再决定要不要加码。

LuoHa***

看到就是学到：流量绝不是所有数据的开始，而是内容优质与否的结果。

kzg***

不要用当下的资源限制终局，而要用 终局思维 来思考资源配置。

Lei***

看到就转：希望您购买每一件商品都是因为喜欢，而不是因为便宜，就像结婚一样，是因为爱情而不是凑合。——销冠金句