小米对Mimo 3进行预告

星***

MiMo-V3 即将采用全新架构。其核心 HySparse2 今日发布。
更少的预填充、更小的 KV 缓存、更出色的长上下文检索——我们一次实现了所有三者。
与 MiMo-V2.6 的 Hybrid SWA 架构相比：
  在 1M 令牌时，预填充 FLOPs 降低 5.02 倍
  在 1M 令牌时，KV 缓存缩小 4.5 倍
  更高的 MRCRv2 和 RULER-v2 分数，外加更低的 AgentPPL 和 LongPPL
为什么构建全新架构？
代理式推理是一种截然不同的工作负载。每轮中，简短的动作可能返回需要预填充的长观察结果，同时上下文持续增长。这使得预填充成本、KV 缓存大小和检索准确性同时成为关键路径。
HySparse2 通过两级 KV 共享机制同时应对所有三者：
  KV Bridging：遵循 YOCO 的方法，跨解码器中的全注意力层从自解码器隐藏状态构建其 K/V。
  KV Reuse：在每个混合块内，稀疏层重用前序全注意力层的 KV 缓存和选择索引。
另外两项改动：令牌级选择取代块级选择，强制窗口内的近期令牌取代独立的 SWA 分支，因此本地和全局令牌共享一个 KV 缓存。由于所有跨解码器 KV 缓存现均来自自解码器，预填充可在自解码器完成后即停止。
来源： X 上的 Fuli Luo：“MiMo-V3 is getting a new architecture. The core of it, HySparse2, is out today. Less prefill, a smaller KV cache, better long-context retrieval—and we got all three at once. Compared with MiMo-V2.6’s Hybrid SWA architecture:  5.02× lower prefill FLOPs at 1M tokens  4.5× https://t.co/2tLCjaKPFX” / X (https://x.com/_LuoFuli/status/2102766365190901957)

Bla***

成长是一场自我发现的旅程

LuoHa***

男儿有志在四方，心中有痛不声张，星友们加油！！！

Xue***

66666666

FengB***

成功不是奇迹，而是 一个个具体行动的累积 。

皮***

睡前必刷星颖，今日份搞钱打卡完成

Dar***

把刷剧时间换成搞钱技能，我赌三年后的自己

MingT***

这一类内容我平时接触得少，过来长长见识。

YunS***

谢分享，加入星颖，不仅学到了知识，更收获了一群志同道合的朋友，路走宽了哈哈哈

CaoYu***

这个帖子适合新人先看一遍，能少走很多弯路。