时间:2026-03-20 17:41
人气:
作者:admin
作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢!
能不能用 1 个 CPU 加很少的内存就能把大模型跑起来?
微软开源的 BitNet (https://github.com/microsoft/BitNet) 实现了这一点。
可以通过这个网址去在线体验这个模型的效果:https://demo-bitnet-h0h8hcfqeqhrf5gf.canadacentral-01.azurewebsites.net/

我在官方代码的基础上做了一个 Dockerfile,有 docker 环境就能轻松编译和运行。
请看:https://github.com/ahfuzhang/BitNet
使用如下步骤可以编译这个 BitNet 模型的运行环境:
git clone https://github.com/ahfuzhang/BitNet.git
cd BitNet
# 克隆子仓库
git submodule update --init --recursive
# docker build
docker build -t local-bitnet:latest .
# 或者 make -f Makefile.docker build TAG=latest
运行完后, docker image ls -a | grep -i bitnet 可以看见一个 1.7G 的镜像。
docker run --rm -it \
--cpuset-cpus="8" \
-m 512m \
local-bitnet:latest \
python3 run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -t 1 -c 4096 -n 1024 -temp 0.7 -p "explain what is '1-bit model'? "
docker run --rm -it \
--cpuset-cpus="8" \
-m 512m \
local-bitnet:latest \
python3 run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -t 1 -c 4096 -n 1024 -temp 0.7 -p "" -cnv
-temp 是温度值。测试发现,小于 0.7 会出现随机的重复单词。如果你问我 1045 乘以 6596 等于多少?
我会立即回答你:2368794 !
你别管对不对,你就说快不快吧……
BitNet 的问题还非常多:
希望这个 BitNet 能够尽快完善,未来能够在手机上运行起来一个本地知识库 —— 一般性的人类知识被包含在一个手机可运行的 APP 中!