一个框架，和一篇论文，改变了模型训练的规则

框架是BitNET
论文https://arxiv.org/abs/2410.16144

有人问我什么是1.58Bit

是这样的。

fp16是一般情况下模型训练后产物的精度。

比如qwen2 8B fp16，文件大小15GB

如果量化成Q_4O，也就4GB

量化相当于模型压缩，会损失精度，常见的精度是INT4 INT8

量化后，模型小了，小机器也能跑了。

但是比全精度fp16更容易产生幻觉，胡说八道。

也就是说，精度高=硬件要求高=更智能，精度低=硬件要求低=更愚蠢

—好戏来了—

那篇论文，提出了一种新的精度，叫1.58bit，约等于1bit

这种精度的模型，如果按常理，几乎无法使用，因为精度太低。

但它提出了一种新的训练方法，将模型中神经元的状态定义为三种，-1 0 1

这种定义，和SNN脉冲神经网络的神经元类似，和人类大脑的神经元运作方式也类似。

-1低电压
0 正常
1 高于阀值

这种训练方式，降低了精度为1.58bit，但是训练后的模型和fp16精度的模型，推理效果相差不大。

这意味着，找到了一种低耗电，低资源占用，高产出的模型训练方法。

意味着，在一台普通计算机上，可以轻松运行8B，甚至70B的模型。而且是全精度。

在更强性能的计算机上，可以轻松运行406B的模型。并且和fp16精度性能相当。

我们使用的云的chat，例如通义千问官网的chat，不知道是全精度的，还是量化后的。

如果拿全精度的跑分，拿量化后的给用户用，那纯粹是骗人。

但是1bit的诞生，意味着厂商可以轻易的允许406B的模型，并且性能等同于全精度fp16，而耗能低的离谱。

但是也有缺陷，将先有模型转换成1bit，会导致模型幻觉增加，想要实现最好的效果，需要从头开始训练。

论文是中国人写的，还封装了一个框架 BitNET，这个框架隶属于微软。

总之，这是深度学习领域比较疯狂的改变，短短几天时间，那个仓库就有了很多issue。

降低算力需求，才能让模型走进千家万户。

这样也有助于提高模型的大小，说不定，未来我们使用的chat，都是1000B的。

到那个时候，AGI或许不再是问题，人们也不需要工作了。都要饭去了。