Stability AIがChatGPTと同等の性能を持つオープンソースの大規模言語モデル「FreeWilly」を公開

画像生成AI「Stable Diffusion」などの開発で知られるStability AIが、ChatGPTに使用される大規模言語モデルの「GPT-3.5」に匹敵する性能の大規模言語モデル「FreeWilly1」と「FreeWilly2」を公開しました。

Meet FreeWilly, Our Large And Mighty Instruction Fine-Tuned Models — Stability AI
https://stability.ai/blog/freewilly-large-instruction-fine-tuned-models

stabilityai/FreeWilly1-Delta-SafeTensor · Hugging Face
https://huggingface.co/stabilityai/FreeWilly1-Delta-SafeTensor

stabilityai/FreeWilly2 · Hugging Face
https://huggingface.co/stabilityai/FreeWilly2

New FreeWilly LLM from Stability AI Tops Leaderboard for Open Access Language Models - WinBuzzer
https://winbuzzer.com/2023/07/22/new-freewilly-llm-from-stability-ai-tops-leaderboard-for-open-access-language-models-xcxwbn/

Stability AIは現地時間2023年7月21日に、AI開発企業のCarperAIと共同で、大規模言語モデルのFreeWilly1と、その後継となるFreeWilly2を発表しました。

FreeWilly1は、Metaの大規模言語モデル「LLaMA-65B」を基に、教師付き微調整(SFT)を使用して合成的に生成されたデータセットで微調整が行われています。一方のFreeWilly2は「LLaMA 2 70B」を活用して開発された大規模言語モデルです。

Metaが商用可能な大規模言語モデル「Llama 2」を無料公開、MicrosoftやQualcommと協力してスマホやPCへの最適化も - GIGAZINE

FreeWillyのトレーニングにはMicrosoftの論文「Orca: Progressive Learning from Complex Explanation Traces of GPT-4」で解説される「Orca Method」を使用しています。Orca Methodでは、大きな言語モデルの出力スタイルを模倣するのではなく、小さなモデルに大きな言語モデルの段階的な推論プロセスを教えます。

Stability AIによると、開発チームが選んだプロンプトと言語モデルで約60万点のデータセットを作成しましたが、この量はOrcaが使用したデータセットのわずか10％程度だったとのこと。これによって、必要なトレーニング量が大幅に削減されました。

FreeWilly2のパフォーマンスは、一部のタスクではGPT-3.5のパフォーマンスに匹敵するとされています。Stability AIの研究者が独自に行ったベンチマークテストの結果が以下で、常識を必要とする自然言語の推論タスクである「HellaSwag」ではFreeWilly2が86.4％で、GPT-3.5を搭載したChatGPTの85.5％という性能を上回っているほか、マルチタスク性能を調査する「MMLU」では、GPT-3.5の70.0％に肉薄する68.8％という性能をFreeWilly2は残しています。

また、大規模言語モデルのベンチマークソフトウェア「AGIEval」で性能の比較を行った結果が以下。「SAT Math」と呼ばれるアメリカの大学入試試験での数学を除いて、GPT-3.5と同等、またはそれ以上の性能をFreeWilly2が記録しています。

Stability AIの広報担当であるアネル・イスラモヴィッチ氏は「FreeWilly1とFreeWilly2は、オープンアクセスの大規模言語モデルの分野で新たな基準を指し示しました。これらの大規模言語モデルは、AI開発者の研究を大きく前進させ、自然言語理解を強化し、複雑なタスクの遂行を可能にします」と評価しており、「これらの大規模言語モデルがAIコミュニティに無限の可能性をもたらし、新しいAIアプリケーションにインスピレーションを与えることを期待しています」と述べています。

Stability AIはFreeWillyについて、責任のあるリリースに重点を置いていることを強調しており、これらのモデルは社内の専門のチームによる潜在的な有害性のテストを受けていることを報告。さらにStability AIは安全対策をさらに強化するため、外部からのフィードバックを積極的に受け入れています。