
今天的模型动态有两条主线:一是评测越来越细,新基准拆开看模型在长文档、真实代码库里哪一步掉链子;二是模型走向物理世界,世界模型和具身机器人都在进入真实场景验证。
1. StateBench:前沿模型在长文档"状态追踪"上仍会崩
Ai2 发布 StateBench,测模型能否在长文档里跟住状态变化,比如变量被反复赋值、物品几经转手。它把难度分成四级:值不变、按值覆盖、在原值上累加、按引用赋值(比如交换两个变量)。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在前两级表现都不错,但到后两级,输入越长准确率掉得越厉害,最长的最难题降到 13% 或更低。直接在任务上训练时,带 Gated DeltaNet 的循环和混合架构比 Transformer 泛化得远。
点评:常让模型读长代码、长合同并追问"最后是多少"的人要注意:链条越长越要自己核对。
2. CWE-bench v2:100 道真实仓库安全修复题公开
Collinear AI 公开了 CWE-bench v2 的 100 道题,覆盖 91 类 CWE 漏洞。Agent 拿到真实开源仓库和一句指令,要修掉安全缺陷且不破坏原功能,评分程序化可复现。11 个模型里,Gemini 4 Argon 以 67.8% 的 pass@1 领先,Claude Opus 5.5 是 67.3%,差距很小;即便是第一名,也有 19% 的题怎么试都做不对。成本上,DeepSeek V4.1 Flash 每次运行约 0.04 美元就有 57.0%。
点评:做代码安全的团队可以拿公开题集测自己的 Agent 流水线;预算有限可看 DeepSeek。
3. 思科用 GPT-6 Astra 和 Daybreak 做安全防御
OpenAI 发布思科案例:思科把自己的网络遥测数据和 OpenAI 模型结合,在海量信号里做关联分析,缩短从发现漏洞到修补的时间。思科总裁兼首席产品官 Jeetu Patel 称 Daybreak 和 GPT-6 Astra 对思科及其客户的安全状况是"阶跃式提升",并强调能接进现有扫描流程。双方还在通过 Daybreak Defense Network 做进一步合作。
点评:案例反复强调零数据保留和数据隔离,大企业接入前沿模型最看重的仍是数据边界。
4. 百度披露 Apollo World 世界模型
在 11 月 3 日的百度 AI Day·Apollo 专场上,百度首次披露面向物理 AI 的全模态世界模型 Apollo World,并提出"2+3"判断标准:因果性、交互性是门槛,物理准确性、持久性、实时性是进阶指标。虚拟城市里的车和行人都是能决策的智能体,系统实时生成相机画面和激光雷达点云,支持从接单到送达的全流程测试。百度称它已用于萝卜快跑的全球化测试验证,萝卜快跑覆盖全球 28 个城市,累计自动驾驶里程超 3.5 亿公里。
点评:"2+3"标准把世界模型从"画面好不好看"拉回到"能不能拿来做测试",做仿真的团队可以拿来对照。
5. 小米具身基座模型进汽车工厂和青年公寓
小米在乌镇峰会期间获两项奖,其中机器人业务的通用操作基座模型技术获"领先科技奖"。落地进展上,人形机器人在汽车工厂的中控台侧盖板排序工站首次挑战 8 小时作业,能自主纠正异常;家庭场景方面,基于 Xiaomi-Robotics-1 预训练模型的 Agent 系统在小米青年公寓"试运营",完成了连续 30 多分钟、跨 3 个房间、50 多项任务的长程验证。
点评:8 小时整班和长程任务比单次演示更接近真实需求,自有工厂和公寓的数据来源也很难复制。
6. openJiuwen AgentMemory 上线视频多模态记忆
openJiuwen AgentMemory 0.2.0 推出 OmniMem-Lens,解决 Agent 看长视频"记不住"的问题。思路是不再按固定时长切片,而是同时看画面变化和听语音转写,在真实事件边界上切分,再分成大纲、细节、原文三层存储,离线建好、在线检索。官方称召回精度最高提升 45.7%,问答时延最高降 97%。
点评:按事件而不是按秒切分,做会议录像、课程视频问答的人值得借鉴。
7. IBM Palette:20B 小模型按企业设计规范做 PPT
IBM Research 发布 Palette,微调了一个 20B 开源模型来生成幻灯片,训练数据遵循 IBM 设计语言。它把工作拆成"设计师"和"编码者":前者写配色、字体和每页布局说明,后者逐页写 pptxgenjs 代码。在 PresentBench 上,它在三个测试领域中的两个排第一,外加的检查框架在 131 份幻灯片上平均提升 3.5 分。
点评:内容不能出公司、又想统一模板的企业可以参考:小模型加合成数据加校验,比硬调提示词更可控。
8. Transformers 提出"模型集成契约"
Hugging Face 介绍了 transformers-mic:用缩小版模型做快速集成测试。起因是 7 月 30 日给 T5 开启 SDPA 注意力后,UMT5 解码器能"偷看"未来 token,这个 bug 在主分支里待了近两个月。缩小后的 UMT5 测试模型只有 66 MB(原模型 1,227 MB),在 CPU 上就能抓到它。一份契约包括测试模型、可运行的使用示例和人工审过的基准输出。
点评:这类 bug 只跑前向传播测不出来。维护模型或微调框架的团队可以照此给关键路径加"小模型回归测试"。
信息来源
- Hugging Face 博客(Ai2):StateBench
- Hugging Face 博客(Collinear AI):CWE-bench v2
- OpenAI:How Cisco defends at machine speed with OpenAI
- 开源中国:百度首次披露 Apollo World 世界模型、IT之家原文
- 量子位:小米斩获乌镇峰会双料大奖
- 量子位:openJiuwen Agent-Memory 视听双流记忆
- Hugging Face 博客(IBM Research):Palette
- Hugging Face 博客:Transformers Model Integration Contracts
- best2ai 条目页见各条末尾「详情」,当日日报见 best2ai 11月4日日报
更多每日 AI 热点见 best2ai.com
文章整理自互联网,只做测试使用。发布者:Lomu,转转请注明出处:https://www.it1024doc.com/19323.html
