模子 相关话题

微软开源1bit 大模子推理框架！ 目下 1000 亿参数大模子量化后单 CPU 可跑，速率可达每秒 5-7 个 token。 比如在苹果 M2新品上运行 BitNet b1.58 3B 模子，be like： 即是本年爆火论文The Era of 1-bit LLMs的官方代码已毕，开源不到一周 GitHub 已揽获7.9k Star。 传统大模子参数以 16 位浮点数（如 FP16 或 BF16）口头的存储，而 BitNet b1.58 将其竣工酿成了三进制，也即是  {-1, 0, 1}