（来源：上观新闻）
据作者了解，代🥞🧯季峰曾🍹🏯就职的中☃国公司🙄为盛⼤智能🇧🇱，虽然与👿🇩🇰MiroMin🕕d同为陈🤰天桥控股全资🛄⼦公司，但两家公🇨🇾司之间相🌊互间并没有任🔑何持股❣关系，盛大📿🏄智能与M🇲🇹iroMin🔀d公司👨🍳🌖是委托开发💋🇲🇽关系🗿🐱。我们最后🇳🇫也是靠🎵⬇调度系🦘🇷🇺统的能力拿下📡这个项目⚽🥿。我们会面对一些重🏥🅰要场景，比如具🤗🔯身智能等🧒🧜♂️做联合训练，🧀☝原力灵机会在数👨⚖️据环节和预🙆♂️训练环节就参与🍷👃进来🦸♀️☠。测试的AI🔐模型为Llama🙏👨🚒-3.1🇳🇿👩🌾-8B-🥈Instr🕧uct和Qw🇰🇮en-3🇱🇰⛳-4B-In♊📕str🐧🕰uct🇻🇪🇲🇶两款◀👴。
在推理框架优化🇧🇸🕕层面，寒武🦋🍂纪在 v🐅🧀LLM 中✴全面支持 TP🕓🇲🇳 / PP / 🌦👉SP/D🇧🇹🍇P/EP 5D🏴🕕 混合并行、通🇪🇭信计算并行、低🇦🇴❇精度量化以及🏸👐 PD 分🇨🇽🇪🇹离部署等优化技术👇，通过策略优化，🕥在满足延时约🎻🍊束下达到最佳👨👨👦🎤的词元吞吐能⏹力，显著提升端🏓📠到端推理效率🇨🇷🇨🇫。陈天桥已个人投🛫📆入近亿🇳🇦美元的巨😰额资金，🦵🤨他也亲❔自参与了整个模型⛅打造的技🧜♀️术思考和技术架🔨⛅构💡🇺🇬。实际效果⏬用两个数字就能☂概括：在百万🇾🇹❓toke🇳🇪n上下文👁️🗨️设置下，V4-⏱🐬Pro每处理一个😞token♏🇰🇳的算力消🛑耗只有V3.2的💥💶27%，KV缓🇲🇼存占用只有1🧬🦎0%🏘。
