GPT-6 Astra 直接改 Qwen 权重：实验亮眼，质疑也在

这两天有个实验讨论得很热：研究者把小模型的全部权重交给 GPT-6 Astra，不训练、不用梯度下降，让它直接分析并修改权重，结果 Qwen3.5-0.8B 的数学成绩翻了好几倍。量子位称之为 MIT 的实验，团队把方法命名为 Weight-Space Programming（权重空间编程）。

几乎同时，Hacker News 上一篇"LLM 读写权重的能力并非超人"的文章也上了热门。两边放在一起看更有价值。

实验做了什么

实验难度逐层升高：

• 读权重认用途：把几个玩小游戏的网络权重以文本形式交给 Astra，它认出了打砖块、乒乓、吃豆人和高速公路。换成生成图形的扩散模型，它能看出圆形、方形、三角形，但把实心图形误读成了轮廓。
• 盲认语言：三个 720 万参数的小语言模型，分别用 Python 代码、日语罗马字和英语训练，再去掉输入层和输出层。Astra 能用 Python 分析权重，但不能喂数据观察输出。它在两轮内认对了三种语言，还找出了全部归纳头。
• 修好 Qwen：给 Astra 一个放着 Qwen3.5-0.8B 全部权重的 Python 环境，目标只有一条：提高数学能力。

最受关注的是第三项。Astra 发现这个小模型数学差，很大程度是陷入了推理循环：最初 96 条练习回答里，85 条一直跑到 32768 个 token 的上限。它把问题追到前馈网络，改了第 15 层和第 19 层各 64 个输出列，总共约 0.016% 的权重。结果：

• 撞上长度上限的比例从 93.0% 降到 33.1%。
• 在 10、25、50 次前向调用预算下，MATH-500 分别为 12.3%、14.1%、48.1%，原始成绩 7.9%。
• 没被要求优化的指令执行能力也提高到约 3 倍。

此外，小车爬坡任务里 Astra 只改 3.5% 的权重，1024 次测试全部成功；MinAtar 小游戏里，它给全零权重的网络从头写出权重，平均得分 517.4，PPO 训练 5 亿步只有 25.3。

质疑者怎么说

Sean Goedecke 在个人博客里的观点很直接：结果很酷，但不是超人能力，聪明的机器学习研究员也能做到。 理由有三条：

• 认游戏不难。这些游戏网络只有约 1.7 万个权重，输入通道直接对应 8×8 网格，还带着"agent""moving objects"这样的标签。他用三行 Python 算出第一层权重的范数画成热力图，玩家和移动物体的位置一眼可见。Astra 不跑代码就"心算"出来确实厉害，但那是心算，不是研究能力。
• Qwen 不是数学差。原始模型的问题很具体：超过 32k token 就循环。他特别指出，32k 以内能解的题，原始模型其实都做对了。
• 修法是成熟套路。他说自己会用 steering：写会循环和不会循环的文本，比较残差差异，找出贡献最大的权重手动削弱，基本就是开源工具 Heretic 做 abliteration 的路数。Astra 做的正是这个：写了四对文本，测出导致循环的权重，边削减边测试。

他打了个比方：这像 LLM 直接改编译好的二进制文件，技巧漂亮，但写源码再编译仍是更好的办法。更新权重最好的方式还是正常训练，LLM 真能帮 AI 研究，靠的是改进训练。

我怎么看

两边并不矛盾。

研究一侧的价值是：通用前沿模型只拿到一句自然语言目标，就自己跑完了诊断、定位、修改、验证整条流程。 以前这要研究员自己动手。

质疑一侧的提醒是：别把"自动化了人能做的流程"当成"超人能力"，更别直接联想到递归自我改进。这次修的是一个已知的具体毛病，方法也是社区早有的。MATH-500 的大涨，主要是把原本因循环失败的题救了回来，不等于模型学到了新数学。量子位的报道也说得中肯：省掉的是梯度训练，诊断和验证都还在，分析、推理、评测同样要花算力。

对开发者意味着什么

这套思路，会写 Python、能调用强模型的人都能试，但离"小模型不行就让大模型改权重"的日常做法还很远。几点实际启发：

• 当诊断助手用。小模型出现循环、重复、固定拒答时，让强模型帮你写分析脚本，对比正常和异常样本的激活差异，先定位问题。
• 定向小修补可以试。去循环、去固定拒答这类问题，steering 和 abliteration 本就有效，让大模型执行能降低门槛。
• 别替代训练。学新能力仍要靠微调和训练。
• 改完要全面评测。只盯一个指标，很容易改出别的问题。

想在 ChatGPT 和 Codex 里让 OpenAI 的模型帮你写权重分析脚本、读懂模型结构，可以先开个账号：

👉 国内开通 ChatGPT Plus｜支付宝微信

重度跑 Codex 的用户可以看 国内开通 ChatGPT Pro。

小结

最值得记住的不是"数学暴涨 6 倍"，而是前沿模型已能自己跑通"读权重—找问题—改权重—验证"。但它没越过人类研究者的能力范围，训练也不会退场，当成更聪明的调试工具就好。

信息来源

• 量子位：MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍
• Sean Goedecke：LLMs are not superhuman at reading and writing neural network weights
• best2ai 条目：MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍
• best2ai 条目：LLMs are not superhuman at reading and writing neural network weights

OKAI66 为独立第三方服务平台，非 OpenAI/xAI 官方网站。

更多每日 AI 热点见 best2ai.com