GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」

　カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。

高度なRAG技術を採用

　Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。

　OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。

　Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。

　128K（12万8000）トークンのコンテキストウィンドウなどCommand Rの主要な長所を継承しつつ、パラメーター数はCommand Rの35B（350億）から104B（1040億）に増加。Retrieval Augmented Generation（RAG）と呼ばれる大規模なコーパスから関連する情報を検索し、その情報を利用して生成されたテキストの品質を改善する技術を活用し、モデルの応答の正確性を向上させている。

　また、英語を含む10の主要言語（フランス語、スペイン語、イタリア語、ドイツ語、ポルトガル語、日本語、韓国語、アラビア語、中国語）に対応。

　さらに、モデルがさまざまなツールを使って、データベースからの情報の取得、計算の実行、外部APIの呼び出しなど複雑なタスクを自動化できるツール使用機能を備えている。

　これらの機能を組み合わせることで、企業が直面する多様な課題に対して、正確で信頼性が高く、かつ効率的なソリューションを提供することができるという。

　Cohereはこの発表と同時にマイクロソフトおよびオラクルとパートナーシップを締結。4月4日よりMicrosoft Azureでの先行提供が開始され、近日中にはOracle Cloud Infrastructure（OCI）でも利用可能になる予定だ。

　APIの利用料金は上記の通り。GPT-4やClaude3に比べてかなり低価格に押さえられている。

非営利に限り重みもダウンロード可能

⌘R+

Welcoming Command R+, our latest model focused on scalability, RAG, and Tool Use. Like last time, we're releasing the weights for research use, we hope they're useful to everyone! https://t.co/HgESxxEYlK

— Aidan Gomez (@aidangomez) April 4, 2024

　驚くことにCommand R+はダウンロードしてローカル環境で利用することも可能だ。

　CC-BY-NC（表示-非営利）ライセンスなので、ユーザーは非営利目的に限り自由にモデルを使用、複製、改変、再配布することができる。しかも通常は公開されることのない学習済みの重み（ウェイト）も公開されているため、環境さえ揃えればローカルでLLMを動かすことができるのだ。

　ただし、重みが公開されていることで、モデルの悪用や無断使用のリスクも高まるため、CC-BY-NCライセンスに加えてC4AI（Cohere For AI）の利用規約によって、責任ある使用を求めている。

　非営利ライセンスのため企業はAPIでしか利用できないが、セキュリティやデータプライバシーに関する規制が厳しい業界や、機密情報を扱う企業など、オンプレミス環境（自社のサーバーなどのローカル環境）で利用したい企業は多いだろう。

ベンチマークではGPT-4と同等または凌駕する性能

　様々なベンチマークテストの結果、Command R+は同クラスの他のモデルと比較して優れた性能を示し、GPT-4のような高価なモデルにも匹敵する性能を発揮することがわかった。

　特に、RAGタスクにおいては、テキストの流暢さ、引用の質、全体的な有用性を総合的に判断した結果、GPT-4や「Claude3 Sonnet」といった他のモデルを上回る性能を示した。

　また、複数のドキュメントを跨いで情報を検索し、複雑な質問に答えるマルチホップ質問応答タスクにおいても、GPT-4と同等以上の正解率を達成している。

　多言語タスクにおいては、FLoRESベンチマークとWMT23翻訳タスクで高いスコアを獲得し、GPT-4を含む他のモデルと肩を並べる性能を示した。

　さらに、ツール使用機能に関しては、MicrosoftのToolTalkベンチマークとBerkeleyのFunction Calling Leaderboardで評価したところ、会話ベースのツール使用と単一ターンの関数呼び出しの両方で高い成功率を達成し、GPT-4と同等の性能を示した。