三澤瑠花

フランスのAI分野のスタートアップMistral AIが発表したLLM「Mixtral-8x7B」はパラメータが47Bに及ぶ規模ながら13Bのモデルと同等の速度、コストで動作させられ、推論性能は「GPT3.5」を超えている。この革新を可能にしたのは1991年に提案された古い概念です。

Microsoftが2024年2月に発表した技術「BitNet」を一般公開した。LLMの性能は落とさず、推論にかかる消費メモリや電力を大きく削減できる可能性がある。

生成AIの主要プレイヤーが注目している「プロンプトキャッシング」という技術を使えば、長文処理にかかるコストを90％、応答開始までの時間を85％短縮できる可能性がある。

生成AIの進化が加速する中、企業のデジタル変革を支援する重要な技術として「RAG」と並んで「function calling」が注目されています。この機能により、生成AIが外部ツールやAPIを自在に操り、ビジネスプロセスの自動化や意思決定支援を飛躍的に向上させる可能性が広がっています。

生成AIを活用する企業の間で今注目度を増している「RAG」について、そのメリットと活用事例、企業の競争力強化のためのアクションをビジネス視点で紹介する。

多言語LLMには文化的バイアスがあり、ローカルな知識・文化の理解が十分でない可能性があることが最新の研究で指摘された。日本におけるLLM活用においてはどのようなアプローチが必要なのか考える。

生成AIの推論精度と信頼性を飛躍的に向上させるRAG技術。今回は、エンタープライズAI導入の最前線で注目を集めるRAGの実装に向けて、AWSとMicrosoftが提供しているRAG関連サービスを紹介します。

生成AIの推論精度向上を目的としてRAGの実装が進んでいますが、その性能を適切に評価することも重要です。複雑な評価プロセスに対応するために提案された「Auepora」と呼ばれる評価方法分析フレームワークを紹介します。

多くの大企業がこの夏までに生成AIのPoC（概念検証）を終え、生成AIの実運用を見据えたときのさまざまな課題を見つけています。課題の一つは検索拡張生成（RAG）の最適化です。今回はRAGの精度をより高める実装方法についてまとめた論文を解説します。

最新のプロンプトエンジニアリング手法「LEAP」と「RoT」について説明します。モデルの改修をしなくても最終的な出力の品質を向上させられるため、AIの活用範囲を大きく拡大させる可能性があります。

LLMの「忠実さ」を向上させるための学習で使う「インストラクションデータ」はこれまで人力で作られてきたが、この作業を自動生成するアルゴリズム「Evol-Instruct」が注目を集めている。ビジネス視点からメリットを解説します。

生成AIの中でも特定の領域に特化した高性能モデルのニーズが高まっている。しかし、LLMは学習コストが高ことが問題だ。そこで注目されているのが、複数のモデルを組み合わせて新たなモデルを作る「モデルマージ」だ。生成AIを効率的に進化させられる。

Metaがオープンソース生成AIモデル「Llama 3」を公開し、生成AIビジネスの世界に衝撃を与えている。本記事では「Llama 3」に関連する最新論文をビジネス視点で紹介する。