■RAGの案件を受けるのはやめておけ（DeepSeekとばっちり派生編）

コンニチハ、オイソギデスカ

思ったより読まれてたので、ブコメにも出てたRAGの話を派生編として書いておくね。

最初に結論から、RAG案件は受けるな。（コンサルみたいにタイムチャージで儲かるなら別）

※前回もそうなんだけど、いわゆるTrap streetは直接指摘しないで二ヤ二ヤしてくれな。概要把握できないほど変なことは書いてないよ。

なんでRAG案件は必ず炎上するのか

RAGを必要とする組織は必要なデータ運用ができておらず、必要なデータ運用ができている組織にRAGは不要だから。

まず前提からな。

RAG(Retrieval-Augmented Generation)って、要は生成AIに外部データベースを参照させるんでしょ？良くない？

その理解で正しいけど、それで営業かけるのは間違ってる。

例えば、郵便番号で考えたらわかるんだけど、郵便番号データベースを参照させて生成AIから引っ張ってくるときに問題になることはなんだ？

データが正しい必要がある

当たり前だけど、大前提ね

フォーマットが揃ってる必要がある

郵便番号なら、市区町村とか、番地枝番とか、全部統一された規格で揃ってないとね。

正しく聞く必要がある

例えば、「姉小路通柳馬場東入って何番？」は、「604-8103です」って返せるけど、

「604-8103に手紙出したいんだけど、住所書いてくれない？」で、「姉小路通柳馬場東入」と「柳馬場通姉小路下る」のどっちを普通書くよね、みたいなのは出てこない。

だって、京都に住んでる人の機嫌を損ねないための生成AIになってないもん。

話作られた時にチェックする必要がある

ありがちだけど、「本社の郵便番号って何番だっけ？」みたいなやつとかね。

存在しない番号をチェックできるなら、最初からチェック用のデータベース叩きに行かない理由がいるよね。

ここまで前提ね。

RAG案件を阻む３つの壁

まあ、郵便番号くらいガッツリ目に世の中に存在するものだったらやりようはあるんだけど。

そもそもやりたいことが、埋もれているデータを活用したいだったりする

ドキュメントはあるんだけど、検索が大変でどこにあるかすぐ探せなくてねーみたいなやつね。

RAGには向かないです。それドキュメントのメンテできてないから。

何が正しくてどれが最新で、誰が管理しててどこまで見せて良いか管理できていないからそういうことになってる。

機密区分がガチガチな割に、フォーマットがコロコロ変更されるエクセルだったりする

このドキュメントは管理職以上にしか見せちゃダメね、これはこの部署のみ、これは部外秘、みたいな状況で散乱してたりする。

RAGには向かないです。やろうとしてることがデータ運用組織体制改善でRAGと関係なくなっちゃってるから。

データを活用したいの想像がフワフワだったりする

これはまあ余録かな。作って納品するだけだったら検修通れば良いんだもんね。

まあ、そういう要件に限ってフワフワのままゴールがフラフラして大変なことになるんだけどね。

生成AIのハルシネーション以前のところでRAGに夢見すぎてる問題

RAG入れたいっていうところ、社内全文検索エンジンとかが流行った頃に導入できてないか導入してもうまく検索できてない組織がほとんど。

そんで、そういう組織がRAGを適切に使えるようになるためには、まず全文検索エンジンでも引っ張ってこれるように整備する必要がある。

しかも、今後その組織で作られる情報全ての運用をそれに組み込まないとあっという間に陳腐化する。

その予算使って、まともなFAQサイト作ったり、社内司書みたいな業務区分作った方が幸せになれると思うよ。

雑感（逆にRAGがハマりそうなユースケース）

多少盛ったり話を作って辻褄合わせても問題なくて、ある程度の専門性や社外秘の情報が必要で、柔軟な窓口対応を求められるところ。

社内雑談チャットbot、かな。（喫煙所の会話ができるマシーン）

これってさー、普通には予算降りないよね。社内で研究した結果の応用とかで社内発表するならまだしも外に委託する内容じゃないわな。

逆にアダルティーな感じのお店でのチャットbot運用ならワンチャンあるかも？

まとめ

RAGの案件を受ける時は、以下の前提は必ず見ような。

• 情報が綺麗に整理されており、常に正しくなるよう運用が整えられている
• 既に横断検索は存在しており、必要な情報は今でも検索すれば出てくる
• RAGを利用した結果は、必ず人間が最終チェックをして利用する

逆にいうと、これができていない組織にRAGはハマらないです。できている組織にRAGがいるかって言われると、ね。

だから、今からRAGの話が上がるような組織に対して案件を受けるのはやめておけ。

蛇足

RAGにハマる（まともな）ユースケースもあるにはあると思うよ。

膨大な社内文書が整然と揃ってるけど、利活用時には個別具体的にカスタマイズする必要があって、社員の皆さんが多大な労力を費やしている職場。

文書を検索して整形して相手に合わせてカスタマイズする業務ね。思い当たるでしょうこちらの先進医療保健特約はつけるだけでとか、ドル建て債券は非常に安定度が高くとか。

そういうところはね、その業務が金の卵だって知ってるから余程のアレな会社以外は自力で整備するよ。だから今RAGとかいう会社はみんなアレなんだ逃げろ。

（家庭内WikiをRAGで柔軟に検索させるときに音声入出力すると未来感あるぞ（実用性があるかは人によるし儲かんないけど））

https://anond.hatelabo.jp/20250129194915

Permalink | 記事への反応(1) | 14:01

ツイートシェア