はじめに llama.cppはMetaの大規模言語モデル (Large Language Models, LLMs) であるLLaMAを、量子化することでCPU上で動作させるものである。C/C++で実装されているので、Ruby bindingsを作って、Rubyから呼び出せるようにした。 github.com 使い方 インストールは通常のnative extensionsなgemと同様である。 $ gem install llama_cpp モデルを用意して量子化する必要があるが、llama.cppをcloneしてきて、Usageの通りにすればできる。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ あとは、普通にrequireすれば使える。 require 'llama_cpp' # パラメータを