（来源：上观新闻）
它在t🚊🙅♂️oken维度引🦎😄入压缩🇰🇬😇机制，结合🤧🙎自研的D🎴SA稀疏🦝🍯注意力，其让🤗⬆模型在🏘处理超长文👨👧👦本时不📇🛌再对所有t🍸😞oken🈸🤛做全量计算，📌🚴而是区分轻重📼目录树：强关联的to🇲🇬ken精读，弱关🚯联的压缩或跳过🇬🇷👨🏫。
一段很长的文档🧯👨👨👧👦，其K🇱🇹🔙目录树V缓存可能🏞㊙达到数百MB甚至📙更多🎡🥎。两个飞轮分别🙈👁是模型训🏛👩❤️👩练数据飞轮和🎇🇻🇨智能体运📎🇯🇪营数据😛🦈飞轮，前者🏴促进“更优异的模🚌型性能”，后者🐶🎀带来“更完整🎈🌭的上下文网络”👩🦲。
任何文本语料都🇲🇼可以用来训练☕🈲，不需要为特定任📏务收集标注数据🍄💞。高桓认为：“在🐹人机共👉🇧🇴舞、展会互动👨👧👧、校园演出等开放☘👶场景中，机🤲🌈器人不应被🛍🇹🇦简单视为普通演🇻🇦出道具，而应被视🕙💈为具备机械运动风🔲🛹险的智能设备🧴。
