楽天、商用利用可能な高性能日本語LLM「Rakuten AI 2.0」

楽天グループは、Mixture of Experts(MoE)アーキテクチャを採用した新しい日本語大規模言語モデル(LLM)「Rakuten AI 2.0」と、楽天初の小規模言語モデル(SLM)「Rakuten AI 2.0 mini」の、2つのAIモデルの提供を開始した。

2024年12月に発表していたAIモデルで、基盤モデルと、インストラクションチューニング済モデルを提供する。いずれもApache 2.0ライセンスで提供され、楽天の公式「Hugging Face」リポジトリからダウンロードできる。

「Rakuten AI 2.0」は、2024年3月に公開した「Rakuten AI 7B」をベースにした8×7BのMoEモデル。8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されており、高品質な日本語と英語の言語データを用いて、継続的に学習されている。

基盤モデルのファインチューニングでは、最新の研究成果による最適化を実施。従来の手法と比較してシンプルで安定的、効率的という利点があり、モデルを人間の嗜好に合わせてファインチューニングするための費用対効果が高く、実用的な代替手段になったという。

「Rakuten AI 2.0 mini」は15億パラメータのモデル。このSLMは、高品質で広範な日本語と英語のテキストデータで最初から学習されている。

楽天は、ファインチューニングした後、特に会話能力と指示追従能力を測定するために使われている「日本語版MT-Bench」を使用して両モデルを評価。比較対象のオープンモデルより優れた結果を残したことを明らかにしている。

「Rakuten AI 2.0」インストラクションチューニング済モデルは、同程度のアクティブパラメータ数を持つ他のモデルと比較して、日本語版MT-Benchにおいて最も高い性能を発揮するという。

同様に、「Rakuten AI 2.0 mini」インストラクションチューニング済モデルも、同様のサイズのオープンモデルの中で最も高い性能を発揮したという。

これらのモデルは、コンテンツの要約、質問への回答、一般的なテキスト理解、対話システムの構築など、さまざまなテキスト生成タスクにおいて商業利用が可能。さらに、新しいモデルを構築するためのベースとしても利用できる。

楽天では現在、LLMを研究目的で開発している。ユーザーに快適なサービスを提供する目的で、今後もさまざまな選択肢を評価・検討していく方針。また、社内におけるモデル開発を通してLLMに関する知識と専門性を高め、「楽天エコシステム」をサポートするために最適化されたモデルの作成を目指すとしている。