2024年12月18日、楽天グループ（以下、楽天）は、Mixture of Experts（MoE）アーキテクチャを採用した、新しい日本語大規模言語モデル（LLM）「Rakuten AI 2.0」と、楽天初の小規模言語モデル（SLM）「Rakuten AI 2.0 mini」を発表した。両モデルは、AIアプリケーションを開発する企業や技術者などの専門家を支援することを目指しており、来春を目途にオープンソースコミュニティに向けて公開予定だという。
Rakuten AI 2.0は、2024年3月に公開している日本語に最適化したLLMの基盤モデル「Rakuten AI 7B」を基に開発した、8x7BのMoE基盤モデル。同LLMは、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されているとのことだ。トークンは、ルーターによって選定された2つのエキスパートに処理されるという。各エキスパートとルーターは、ともに日本語と英語の言語データを用いた継続的な学習を行っているとしている。
また、Rakuten AI 2.0 miniは、15億パラメータの基盤モデル。同SLMは、内製の多段階データフィルタリング、アノテーションプロセスを通じて、キュレーションおよびクリーンアップされた日本語と英語のデータセットで学習されており、テキスト生成において高性能かつ高精度な処理を実現しているとのことだ。
両サービスの特徴は以下のとおり。
Rakuten AI 2.0：高効率な先進モデル構築
入力トークンに対して、最も関連性の高いエキスパートを動的に選択するMoEアーキテクチャを採用しており、計算効率と性能を最適化。同LLMは、8倍規模の高密度モデルに匹敵する性能を発揮するが、消費計算量においては4分の1程度に抑えることができるという。
また、同社は「LM-Harness」を使用して、日本語と英語の能力測定を行うモデル評価を実施。リーダーボードは、対象言語の特性を反映した広範な自然言語処理および理解タスクに基づき、言語モデルを評価しているという。Rakuten AI 2.0の平均日本語性能は、Rakuten AI 7Bと比較して、8つのタスクで62.93から72.29に向上したとのことだ。
Rakuten AI 2.0 mini：実用的なアプリケーション向けモデル
同SLMは、コンパクトなモデルのためモバイル端末に導入でき、データをリモートサーバーに送信することなく自社運用できるようになるという。汎用アプリケーションに使用される大規模モデルと比べ、SLMはプライバシーの保護、低遅延、コスト効率が求められる特定のアプリケーションに適した形で活用できるとのことだ。
Rakuten AI 7Bの事前学習では、同社が設計した内製のマルチノードGPUクラスターを拡張し、大規模で複雑なデータを使用した事前学習プロセスを高速で実現できたという。同社は今後、LLMモデルの開発を継続することで知見やノウハウなどを蓄積し、「楽天エコシステム（経済圏）」の拡大に取り組むとしている。
【関連記事】
・楽天とAmpere、データセンターの消費電力削減を目的に連携を強化
・楽天、OpenAIとの協業で通信業界向けAIツールを共同開発・提供へ
・楽天証券、NVIDIAのAIサービスを活用した「投資相談AIアバター」開発 デロイト トーマツが支援
