（来源：上观新闻）
所谓注意力汇🇷🇪🚎聚（Atten🏴tion S1️⃣ink），是指✖🇬🇺AI模🛎🇸🇰型在处理文本时🔟，会自😕😇然地把大量注🐵🐹意力集中到序🗂©列最开头的那几🎬个词上👊🧙♀️，无论这些词🐡是否重🥗🐊要💁👑。然而，预🇰🇬先确定的静态块📛😪数量并非适用⛓于所有🌷流量模式🤨🦍。传统存☣scm供应链管理储器IC的供应紧🏮🇨🇩张局面⬅，因业界将重🛴心转向🥭高带宽存储器（🇦🇲🐔HBM）的💢🚩生产而加剧🍘🍌。
它在token🇲🇵维度引入压缩机📹🍘制，结合自研的D🦵👥SA稀疏注意力，🌞😦其让模型在处🔁🥓理超长文本时不再👊对所有✡token做全量👨👨👧👦计算，而是💮区分轻重😃：强关联的to🎁👎ken☃精读，弱关联的🇱🇹压缩或跳过🗂。
