思维量化

显卡内存不够，跑不了大模型，怎么办？目前最通用的方法就是将模型量化——用更少的比特位来表示模型中的参数。

比如大模型的原始参数精度经常可以达到 16 bit（也就是一个参数可以区分 65,536 个不同的数字）甚至更高精度。但模型量化后，每个参数可以被压缩到 2-4 bit。最极端的情况是压缩到 1 bit，即参数只有 1 或 -1。这样占用的存储空间就大大减小。

一旦聊到政治，我经常有一种无力感，就是世界的思维似乎像是一个被过度量化的语言模型，完全丢失了原来应有的精度。

当然，这原本就是政治的固有属性，因为讲政治，背后总有改变他人的动机。而试图在短时间里改变一个人的观念，最有「力」的方式恐怕就是往一个方向打死方向盘。所以，我们听到的政治声宣传都很极端，这一点应该没有什么太大的意外，从古至今大概都是这么个德性。

但不妙的是，很多人（包括我）的内心思维世界也有被严重量化的倾向。大多数的政治议题原本并不是我的生活圈能够接触到，或者我会主动关心的。但是招架不住过度连接的信息网络对我狂轰乱炸，大量的议题都开始占据我的思维空间。所有人都被迫在所有的话题上站队，决策一多，每个决策就只能被高度量化，压缩精度，最后往往就变成 1 bit 人——所有观点非黑即白。

短时期内能不能扩充我的脑容量，我其实没啥自信。要避免落入非黑即白的陷阱，我发现对我最有用的还是缩短自己的「战线」——只挑几个议题关心起来，而不是漫无目的地刷新闻榜，然后每天的思绪都被不同的热搜话题搞得翻江倒海。

我大概两三年前开始批量取消 YouTube 订阅，最后一个被我退订的新闻服务是 Ground.News（对同一个新闻会有各个报道的立场分解等额外信息，其实还是不错的服务）。在没有外部消息源入侵之后，我再主动选择几个议题关注起来。这么做了之后，我觉得自己对于这几个议题都能够自然地接受更加细致中立的立场，比特位的数量果然上升了，心理也健康了不少，政治抑郁症算是躲过了。

但 LLM 的经验告诉我们，绝大多数内存空间有限的情况下，宁可跑量化严重的大模型，也不要选没有量化的小模型。这就证明了一个道理：LLM 跟人脑是两回事～