
OpenAI 发布了一个新基准 BioBasicsBench,专门测 AI 智能体能不能看懂"湿实验室"里最日常的实验数据。湿实验指拿生物样本动手做的实验,比如跑胶、涂平板、看显微镜。
结果先说:在 xhigh 推理档位下,GPT-6 Astra 平均拿到 66.7%,GPT-5.6 Sol 只有 43.8%。进步明显,但离"放心交给它判断"还有距离,OpenAI 自己也列了它犯的错。
这个基准测的是什么
以往的科学评测大多用论文里精挑细选的图表,而真实实验会失败、照片会模糊、对照组本身也可能有问题。BioBasicsBench 测的正是这种"脏数据"下的判断力。
几个关键设定:
- 100 道题,和专注酶设计的生物技术公司 Ligo 一起开发,覆盖蛋白方法、成像与流式、定量与检测、核酸方法、分子克隆五个方向。
- 数据都是真实实验产出的:凝胶和印迹图像、平板照片、显微镜图像序列、测序原始文件、读板仪导出表,还有台面操作视频。
- 题目由科学家用自己的实验数据出,每题配专家写的评分细则,并经过 Ligo 内部、外部博士级湿实验科学家和最终内部三轮审核。
- 按细则给分,看结论、数值、推理过程,也看模型能否意识到"证据不够"。
最后一点很关键:科研常见的坑是过度解读,数据只能说明 A,却得出了 B。这个基准专门给"知道自己不知道"留了分。
成绩:七个模型、18500 次结果
OpenAI 测了七个模型:GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna、GPT-6 Astra,总共 37 种模型与推理档位组合,每题跑 5 次,合计 18500 个结果。
在 xhigh 档位下的平均得分:
- GPT-6 Astra:66.7%,每题平均输出约 4704 个 token
- GPT-6.1 Sol:62.0%,约 5238 个 token
- GPT-5.6 Sol:43.8%,约 9099 个 token
- GPT-6 Luna:38.3%,约 13120 个 token
- GPT-5.5:35.4%
- GPT-5.4:33.2%
- GPT-5.2:31.2%,每题要用约 27620 个 token
我觉得这组数字最值得看的不是排名,而是分数和 token 的反向关系:Astra 分最高,用的 token 却最少,只有 GPT-5.2 的六分之一左右。OpenAI 的解释是,Astra 即使在低推理档位也明显强于 GPT-5.6 Sol,更强的原生多模态能力可能是关键。换句话说,看图看得准,比靠长篇推理硬想更管用。
Astra 具体强在哪
OpenAI 举了三类例子,都挺有画面感:
一是知道数据能说明什么、不能说明什么。 一道用染料判断细胞死活的题里,检测通道和另一种染料的发光范围重叠。GPT-5.6 Sol 直接按亮度判定细胞死亡,Astra 指出信号分不开,建议加对照。
二是看图更细。 一道克隆题的阴性对照平板上没有菌落,GPT-5.6 Sol 据此下结论;Astra 注意到平板边缘标签写的抗生素和实验用的不一致,判定对照不可靠。
三是能记住实验背景。 一组显微镜图像里细胞时隐时现,GPT-5.6 Sol 去找生物学原因,Astra 认出这是不同深度连拍的 z-stack,只是焦平面变了。
它还会犯哪些错
OpenAI 也列出了 Astra 的几类失误:
- 让熟悉的假设压过对照证据:一道菌落 PCR 题里,它分组分对了,却默认"产物更大的就是克隆成功的",结果选错了菌落,参考答案恰好相反。照它的选择做下去,会纯化出错误的质粒。
- 忽略和自己结论矛盾的数据:它明明检查到部分液泡看起来更亮,最终结论却只写"液泡更暗"。
- 数菌落数不准:漏掉相邻菌落、把空白处也标上,整体多数了约 12%。
这些错误很"像人",所以更危险:推理看似完整、表述自信,结论却错了。
对普通用户和开发者意味着什么
大多数人不会用 ChatGPT 判读凝胶图,但这个基准透露的信息对日常使用同样有参考价值。
第一,新一代模型的看图能力确实上了一个台阶。 如果你经常让 AI 读截图、表格照片、仪器界面、手写笔记,GPT-6 系列的提升会比较直观,尤其是"注意到小细节"这类能力。
第二,不要把自信的结论当成正确的结论。 Astra 的失误说明,模型会被自己的预设带偏,也会选择性忽略反例。凡是涉及实验、财务、医疗这类决策,让 AI 先列出"支持和反对这个结论的证据各有哪些",比直接要答案稳妥得多。
第三,推理档位不是越高越好。 Astra 用更少 token 赢了旧模型。日常先用默认档位,确实不够再拉高,省时间也省额度。
想在国内体验 GPT-6 系列的看图和推理能力,可以从这里开通:
我的判断
BioBasicsBench 把评测从"论文里的漂亮图"拉回到"实验台上的真实数据"。66.7% 说明进步实打实,同时公开失败案例,也比单纯报分可信。
但这仍是自家模型在自家基准上的成绩,七个参测模型全是 GPT 系列,没有横向对比。当成"GPT-6 多模态分析明显进步"的证据可以,当成"AI 能替代实验员判读"就言过其实了。
信息来源
- OpenAI News:Measuring how AI agents handle everyday wet-lab science
- best2ai 条目:Measuring how AI agents handle everyday wet-lab science
OKAI66 为独立第三方服务平台,非 OpenAI/xAI 官方网站。
更多每日 AI 热点见 best2ai.com
文章整理自互联网,只做测试使用。发布者:Lomu,转转请注明出处:https://www.it1024doc.com/19361.html
