（来源：上观新闻）
在后端训💹🇧🇸练及优🇲🇹化方面🇰🇷，优化器为💊👫Muon，🐳🇦🇺RL强化学习使🐲用GRPO及🗡🛣KL散🇪🇬💠度修正，预训♓💽练的32K🌡🐽上下文最终扩展🦵到了1M上下🇲🇪😻文🛏✌。
" 忙活🧰🦄半天，最后还🐱🍮是要自己按👨👧🇵🇼。马斯克🧹也与Curs☸🇦🇬or达💾🤯成了价✈🇴🇲值600亿美🥦元的收购🕣权交易——🇽🇰微软也👔🇦🇶动过这个念👧头🇵🇳↖。
根据技术🕍报告，V🇦🇮4还引入⛎🛬了流形约束超连🐇🧱接（mHC📭），替代传🍣统残差连接来增强🥘深层网络信🐷🍍号传播的稳定⏭📔性，并使🇬🇭用Muon优化器🚵提升训练收敛速🧜♂️⏰度🥗。公司应🚠其要求，通🥃🧕过兄弟公司🦴盛⼤智能决策（🇲🇪👨👩👧北京）信息科技有🖥限公司（以下简🔹称“盛大👨👨👧👦↘geo是啥智能”）🇱🇷📃先行开💉😜展顾问合作👨✈️🍺。
