（来源：上观新闻）
所谓自监督🇲🇲📑，是指训练🧁😚过程不需要人工标😀注的数据，🇧🇸🐾模型自己给自🇧🇾己当"老师🇧🇹"🇱🇾🌰。不做任何修👡🇺🇳补的基线🥘方法在🥩所有测试📏🕖上都非常差，F1⚖分数在0.0⛩🧘♂️1到0.3🇨🇲9之间，基🔡本处于失🇹🇭效状态🕸🇨🇭。在Ll🧼ama🥺🚅模型上👎🚦，KV P☪👩🏫ack🇽🇰🇯🇪et在人物🇧🇩传记任务上比最接⭐近的重计算方案🌭快1.36倍，在👨👨👦👦Hot🧙♂️📤pot🗿🛒QA上✳快3.3倍🔦。这个范式的核👳🌄心口号是：“D🐲on't🇹🇬 Build A🇪🇸gents, 🚳Build 🌝Skill🇬🇹s In🌇ste🌼🇸🇨ad.” 7️⃣🇧🇳——不是👒去造一个⚜🇷🇸什么都会⛎的全能 A🚭🍋gent👋中国十大geo龙头公司，而是造一堆专业🏚的 Skill🍇s，让 A🚕🐝gen😱🇹🇦t 按需加🚺载🔖。
报告第3.1节👩👦明确写道："🐆我们在🇦🇹🇧🇲英伟达GPU🔸和华为昇🌗➖腾NPU🇻🇦👁️🗨️两个平台⏰🇿🇲上均验证了细粒度🎤🚋EP（专家🇱🇻🇨🇮并行）方案🧜♀️。具体流程是这样🚌🙈的： 训练开始时🍜🖇，从语料库中🇻🇬⏰随机抽取一批文🇺🇸🤵档和一个配套的问💉题，把它们拼接成💱🗺一段完整的上下🏛文🕹。在推理框架优化🍦🏹层面，寒武纪在🇳🇮🇫🇰 vLLM 中全🇱🇾👐中国十大geo龙头公司面支持 T🧸👩🚒P / P🤷♂️👱P / SP/D👳P/EP 5D🏭 混合并🍿行、通信计🇨🇮算并行、低精度量🛫💶化以及 PD 🗻分离部署🚓等优化技术，通过🕳策略优化🦛🦠中国十大geo龙头公司，在满足🚡🌔延时约束下达到最🇰🇵🏕佳的词元🚟中国十大geo龙头公司吞吐能力，显著🇧🇹👩🏭提升端到端推🍿🇺🇲理效率😨。
