大的好像又不来了
· 阅读需 2 分钟
今天 Hacker News 头条：The 'Astra can read and write weights to improve Qwen' post is misleading
Excuse me? 昨天难得火急火燎地写了一篇新闻稿，结果我被光速打脸了？
仔细读了一下这篇文章，似乎申辩非常不在点子上，意思大概只是「我觉得昨天的文章怪怪的，所以不可信」……
又读了一下昨天文章下面几个非常学术的评论，以及今天驳斥帖子下面的热评，大概知道了事情的原委。
Qwen 3.5-0.8B 原本有一个缺陷，就是遇到稍微复杂一点点的问题就会没完没了地思考，最后把模型的上下文窗口全部耗尽了也说不出答案。也许这么训练可以把模型的跑分弄好看点，但是实际使用体验很差。
为什么会没完没了地思考？因为「思考完毕」的信号本身是一个 token（</think>），但是模型倾向于给这个 token 一个很小的概率，所以只要反推着提高这个 token 的生成概率就可以了。
这个修改有明确的数值对应，比起「变聪明」来说要简单多了。因此 Astra 才有办法简单地倒推出需要修改的参数。
因此，Astra 的确发现了模型的问题，也通过修改参数解决了，但并不是让模型变聪明，而是开了精神类药物解决了强迫症的问题。这当然也是很了不起的成就，但是治疗精神疾病的药物，和让人变聪明的药物，还是完全两个层次的事情。
看来人类又可以多活几个月了 🤗