（来源：上观新闻）
推理性能方面，在🛩数学、S🤔🌧TEM和竞赛🇩🇬❔型代码评测中🌗🔑超越当🕡👭前所有已公开🍻评测的开⁉源模型，比肩💮世界顶级闭源模🇶🇦🥔型；世界知🕴📣识大幅领◻⭐先其他开源模😓型，稍🗣▫逊于Gemi👩⚖️🍁ni-Pr🚴♀️o-3🥕✒.1😫😂。整件事⏳🇨🇷的起因🏄是去年一位海🛐💁淀区消费者，举👜报在平台下🇪🇹单的生日蛋糕有问🧁🇺🇿SEO是什么简称题🇮🇴😷。
随后，澎湃新🇧🇳👷闻在直播间弹🦡🇵🇦幕区发布🦀👨👨👦上述问题进行询🍍问，弹幕区客🌰服告知可以等待主⛳♨播讲解，但主🇲🇷📡播始终🤙🇲🇱未就该问题进行具🎉🤭体讲解😪👨⚕️。在后端训练及优化🚣方面，优化🦸♂️器为M✖uon，RL强💄🗯化学习🛢使用GRPO及K🍺L散度🏔修正，🥘🇱🇦预训练的32🚨🤬K上下文最终扩🔦展到了1M上下😄文👯💩。
它在to🤮🇻🇬ken维度引入压👓缩机制🎂🚨，结合自研的DS📱A稀疏注意力🗽👉，其让模型在处理🕶📑超长文本时不再对👨👦👦👣所有tok🇺🇦🎏en做全🇧🇲量计算，而是区😵分轻重：强关联🇲🇶的tok🏛😥en精👨🌾👀读，弱关🍲联的压缩或跳过🎿😇。
