（来源：上观新闻）
魔鬼藏在🌙🇪🇷细节里 为😼了保证考题⏳不被大模型本🇱🇰🇨🇷身的先验知识污🙃染，构建👒👣这个包含🍀👜800🏥个视频的数据集💌🎆耗费了惊🇨🇷人的3300个🥍人工时⬆🥢。新基准⏺彻底抛弃了这🇸🇬🏆种做法🏕🕷，引入🧛♂️了分组式🔉🇱🇧评估机制🇹🇷，把问题按能力🏆一致性与🌒✈推理连贯性组织成😽多个包含4道题🔘🌐目的任务组🍧🗻。
官方给出了一些🕟比较复🎹杂的示例，例🦀如把一张天体图片🔥📵重新做成一个新🦡👃的Web应🕵👨🌾用👲。文本越🔠🧳长，这份工作记忆🛣越重；如果每一🏔步都背着完😱🍚整包袱走，模型就🇮🇹◾很难轻快起来😝⛑。AI 看起来是一🏬件软的🤐事情，🇪🇸🥠它的每一次跃迁，🥋背后都是硬🦍🔩邦邦的东西👨👧👦。它证明了小📊米只需要1个月👐可以从一个被🇹🇯质疑“回🤙🐏避硬核测试”的状🕟态，迭代🎚到一个敢于🕙🕣正面公布🕉SWE-ben🌄🇭🇳ch 🏍Pro成绩🇵🇫、并且成绩🇬🇦接近全球🚴🍿顶尖模型的状态🐭。
我一直想🛄↙的是，能不能有👱♀️一种更好的方式⏸🦂，把这些数据🎶🏑量化，然后从里面🌊挖出一些🥣可能被我们👨🚀🍴忽略的趋势，或者⏭信号🍙🧒。那这一百🔫万个光模块里🇧🇹📥供应链管理平台，任何一个坏🦡了，会怎样？ 答🛶❎案是，瘫掉一🎧🥳整个机架🔽💩。
