（来源：上观新闻）
Vals🧐 AI的评测🈂结果更具看点🥥。但是，🚪🆓它背后的套📮🇻🇪路更深🇸🇯🍅。在注意📌力机制方面，🇬🇼V4采用了D🏄♀️⏺SA2🐵，融合了🌫🍖DeepS🃏📬eek V🕴🧽3/R1中的D🚅SA机制，以及🇱🇨功能测试的常用方法6种今年初✋🇨🇺Deep🇿🇦Seek↗◻论文中提出的NS🔡⚜A两种稀疏注意力🗺🥋机制🇭🇲👨👦👦。无论模型还是🐳🕹算力，它们之间存📦在竞争关系，🦙但从更大的🕧维度看🈶，它们都在证明了😾👩👩👧👧同一件🇬🇫🥘事： 中国AI研🥄发的系统🐠☄性能力不是6️⃣一两个特例🥠🤡，而是🇨🇬可以不断连续性创🕯功能测试的常用方法6种新的生态🛄。
他们测量了问题⛄⛷中的词对前文🇲🇰🌧各部分的平均注🕷意力得分📆🔒，对比了直接拼接🚾（No R🗽eco🌒mpute）🎦和KV🇵🇸✉ Pac🕣ket💔🖐两种情况，🆚🎺在四个数据❗集上各取5🆒0个随机样本🇴🇲做平均😂✊。一段很🈸长的文档，其KV🌏缓存可能达到数🚹🇧🇮百MB甚🍘至更多⚫。针对V4的新结构♻🃏，这套算子库对C🧛♀️👉ompres📍😥sor、m⛰HC等🇽🇰🇺🇿模块进行🙍🕹了专项加速🙄👩❤️💋👩。
