（来源：上观新闻）
在后端训🤙🏁练及优化方面，优💀化器为M🦵uon，RL强🥳化学习使用🚣🇸🇻GRPO及KL🇫🇰散度修正，预📍🈺训练的32😘🐨K上下文最终扩🌁展到了1M上下文🌠😧。硬件特性同样被☹⛈深度挖🏑🏕掘：利用 ML🇷🇺🚾U 访存与排序🥭加速能力，有效🌸加速稀疏 👅Atte👩🌾🇹🇬ntion👟😠、Ind🛤exer 🥨🇲🇱等结构；高互🇲🇻🖖联带宽👩🦱与低通信延🎹时，将 👛Pref😤🦘ill 和 👨👨👦Dec🇲🇹ode 两种不⚙同工作负载场🍘景下的通信占比🕌🥬降至最低，最大👎化分布式推理的利💕用率🇬🇩。
底层用B🇬🇹🦖angC高性能编📟程语言编写稀疏/💶⏫压缩Attent📺ion、Gr😡☑oup👩🏭😎Gem🆚♒m等热点算6️⃣✒子的极致优化K🙎🗨ern➗el，目💫♈标是充分👩🦰🗺释放硬件底层性🇲🇳🇯🇵能👪。其实 20🦷13 🙁年我们就💆♂️🇭🇲开始做天元，因为🚧🚫当时只有🇻🇦 Caff🇩🇴国内比较好的saas平台e（注：最初由伯🦉🐓克利团队研发和开🇵🇷🇧🇩源的一个深度学📎👩⚖️习框架，Meta🗞🙇 基于此开发🧛♂️🏑了 Caf🇱🇧🇦🇷国内比较好的saas平台fe 2，后被➖😕并入 Py🇴🇲🤫Tor👤ch）还没有 👩👩👧👧PyT🚥🔕orc🇬🇶h，外部工具是🍘真的不好用🏴☠️。
