DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf を動作させてみた。 これは DeepSeek R1 (671B (37B activated))をunslothが1.58bit版にして、どこのご家庭にもある普通のPC(RAM多めM.2SSD推奨)で動作するようにしたものだ。 俺はこれを Ryzen 7 3700X RAM 80GB M.2 SSD のマシンで動作させてみた。 コマンドやオプションはこんな感じ。 time llama.cpp/build/bin/llama-cli \ -m /mnt/ssd_c_data/model/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \ --cache-type-k q4_0 \ --threads 16 -no-cnv --prio 2 \ --n-gpu-layers 0