はじめに
こんにちは。普段はエンジニアとして FutureVuls を担当しております。
昨年のアドカレ（フューチャー Advent Calendar 2023）以来、Qiita には1年ぶりの投稿となりました。昨年に2本投稿したうちの1つ（asdf で開発言語と利用ツールのバージョン管理）には
今年は大規模言語モデル(LLM)が「ビジネスや日常生活で多用されるようになった年」であり、OpenAI の ChatGPT、GitHub の Copilot、Google の Bard などは、多くの開発エンジニアが「アシストツール」として多用していると思います。
と執筆した点からの差分を振り返ると、「ビジネスや日常生活で多用されるようになった年」から「もはや AI なしでは競争に勝てない年」になったと感じております。
ちなみに、私は趣味のリサーチやプログラミングでは、以下の AI サブスクに課金しております。
これらのツールと使うと「情報収集」や「思考」にかかる時間が大幅に削減され、かつ、自己スキルの「即時拡張」が可能です。まさに、AI が体の一部になった時代として、各サービスから日々発信される Release Note を楽しんでいる最中です。
ただ、AI ツールを使い倒しながら日々のニュースを吸収していると、いつの間にか「知るだけで満足」してしまい、実際に手を動かして動作検証する機会が大幅に減少していました。なので、この度のアドカレ枠を利用して、以前から気になっていた Dify と RAG を動かしてみました。
以下、久しぶりの「やってみた系」記事です。
スクショ多めのため、スクロールしながら画像を見ていただくだけでも雰囲気は十分掴めます。
また、事前インプットとして以下の Youtube 動画を参考にさせていただきました。
Dify × RAG
Dify はプログラミングの知識がなくても誰でも簡単に AI アプリケーションを開発できるオープンソースのプラットフォームです。大規模言語モデル（LLM）を活用し、ノーコードで直感的に AI アプリを構築することができます。
2024年12月中旬時点では、以下4つのプランが用意されております。
| Plan | Price |
|---|---|
| SANDBOX | Free |
| PROFESSIONAL | $59/month |
| TEAM | $159/month |
| ENTERPRISE | (Talk to Sales) |
無料の SANDBOX でも 200 times GPT free trial が可能なため、今回は SANDBOX にて動作検証を行いました。
Start for free を選択すると、GitHub アカウン・Google アカウント・メールアドレス のいずれかでのログインが求められます。
ログイン直後は、以下の画面が表示されます。
右上の Dify（デフォルトのアカウント名） を選択すると、各種設定が確認できます。ワークスペース > モデルプロバイダーでは OpenAI クォータ 200クレジット と記載されています。このクレジットは、Dify 内で作成するアプリから LLM モデルをコールするごとに消費されます。使ってみた体感では、アプリからコール > モデルプロバイダーへの反映まで、若干のラグがありました。
以下のように、アプリから LLM モデルを呼び出すごとに「クレジット」が減少していきます。
ワークスペース > 請求の画面では、サブスクの購読状況や各種リミット値が確認できます。サンドボックス（SANDBOX）プランは個人利用（チームメンバー: 1）が上限です。
まずは、まっさらな状況からアプリを作成してみます。
トップ画面の「チャットボット」> 「最初から作成」を選択します。
以下のような「最初から作成」が表示されますので
- アプリの種類を選択
- 「チャットボット」を選択
- アプリのアイコンと名前
- 説明
を入力して「作成する」を選択します。
アプリを作成すると「オーケストレーション」の設定画面が表示されます。
この画面でプロンプトや RAG の設定、Bot の動作チェックを行います。
「手順」>「自動」のアイコンを選択すると、「プロンプト生成器」が設定できます。今回はシステムプロンプトの無い状態で RAG を動かしたいので、ここは未設定のままで作業を進めます。
画面右下にある「ボットと話す」に以下のテキストを入力して、デフォルトでのボットの反応を確認してみます。
Linuxでまず初めに習得すべき基礎的なコマンドをリストアップしてください。
ボットからの回答として、こちらの質問内容に対して適切な回答が返ってくることが確認できました。
また、ボットとの会話履歴は「ログ&アナウンス」の画面からも確認できます。
続いて、Dify へアプリに学習させる「ナレッジ」を登録して RAG を利用してみます。
「オーケストレーション」>「ナレッジ」>「追加」を選択すると 参照する知識を選択 が表示されますので、「作成に進む」を選択します。
今回の動作検証では Web に公開された情報 をボットに学習して欲しいので、ウェブクローラーとして Jina Reader を利用します。
Jina のサイドへ移動後、「< > API」選択すると、リーダーAPI 配下の表に以下の情報が表示されます。
- 鍵と請求
- 使用法
- もっと
「鍵と請求」から トークン値 と トークン残量 をそれぞれ確認できます。
トークン値を取得して、Dify の「データソース」>「ウェブサイト Jina Reader」>「Jina Readerの設定」>「API Key」に貼り付けて保存します。
API Key の登録後に
- スクレイピングするURL（今回は
https://help.vuls.biz/を指定） - スクレイピングするページ数（今回は
10を指定）
を指定すると、Jina Reader 経由によるページの取得が始まります。
指定ページ数分の取得が完了すると、「テキストの前処理とクリーニング」が表示されます。
この設定画面では、Web ページから取得したテキスト情報を「ナレッジ化」する際のパラメータ制御を行います。どのようにテキスト情報を分割して、LLM が有益な回答を返せるようにするか、が AI/機械学習エンジニアの力の見せ所だと思います。今回は、検索設定を「ベクトル検索」>「ハイブリッド検索」に変更する点以外はデフォルトのままで、ナレッジの作成と保存を行います。
各ページごとのナレッジ化の進捗状況を画面から確認できます。
Jina で取得した各ページのナレッジ化が完了すると、トップページの「ナレッジ」に新しいパネルが追加されます。この「ナレッジ」が、アプリに渡す「コンテキスト」として使えるものになります。
パネルを選択すると
- ファイル名（Jina でスクレイピングしたページのURL）
- 単語数
- 検索回数（アプリからの参照回数）
の一覧が表示され、個別のファイル名を選択すると「どのように分割されたのか？」も確認できます。
アプリに学習させる「ナレッジ」が用意できましたので、早速取り込んでみます。
Dify の「オーケストレーション」画面へと移動して「コンテキスト」を選択します。
「参照する知識を選択」に、先ほど取り込んだ「ナレッジ」が表示されます。
取り込みたい「ナレッジ」をクリックして「追加」を選択します。
以上で、チャット会話可能な LLM アプリに RAG（Dify の「ナレッジ」）を取り込めました。
それでは、取り込んだ RAG に関連する質問を投げてみます。
Jina 経由で取り込んだページ（https://help.vuls.biz/manual/csirt_option/ssvc/config/）の内容を参照しながら回答できるかを確認するために、「デバッグとプレビュー」で以下の質問を投げてみました。
FutureVuls での SSVCPriority の設定方法
Bot が生成した情報は、オリジナルの Web ページ内容を正しく踏襲しており、かつ、引用 に「どの内容を参照したのか？」が付与されていることが確認できます。回答に付随している 引用 の表示有無は、「オーケストレーション」右下の「有効な機能」>「引用と帰属」で変更可能です。
「オーケストレーション」右上から「公開する」>「更新」を選択すると、アプリのコンテキストに登録した「ナレッジ」が保存されます。続いて、「アプリを実行」をクリックすると、URL から今回作成した Bot に質問を投げられるようになります。
RAG で取り込んだページ内容を踏まえて、以下の質問を投げてみました。
FutureVulsの画面ではどのような内容を確認できますか？
bot への質問状況は、すべて「ログ&アナウンス」の画面からも確認可能です。RAG を乗せた LLM Bot を作成後、URL を共有する方法で公開することも十分可能です。（課金請求にはご注意ください）
これまでの動作検証により、GUI 操作のみで「RAG を取り込んだ LLM Bot アプリ」が作成できることを確認できました。
RAG 有無の差分検証
最後に、特定の「ナレッジ」を アプリに与えた場合と与えていない場合で、Bot の回答がどのように変わるのかを実際に試して、RAG の凄さを実感してみます。
動作検証用に 最近公開された、FutureVulsブログの内容 を「ナレッジ」として Dify に取り込みました。
追加 RAG ナシ と 追加 RAG アリ のそれぞれに、ブログの内容を踏まえた質問を投げてみます。
FutureVulsの「外部スキャン」について教えて
追加 RAG ナシ
申し訳ありませんが、その情報についてはわかりません。
追加 RAG アリ
FutureVulsの「外部スキャン」機能についてご説明します。
外部スキャン機能の概要
「外部スキャン」機能を使用すると、ASM（Attack Surface Management）、Qualys、Nessus、Nmapなどの外部スキャンツールやWeb脆弱性診断ツールで取得したスキャン結果をFutureVulsにインポートできます。これにより、インターネットからの外部スキャン結果と内部の脆弱性情報を紐付けて一元管理できるようになります。
主な特徴とメリット
一元管理: 外部からのスキャン結果と内部の脆弱性情報をまとめて管理でき、全体のセキュリティ状況を把握しやすくなります。
自動リスク評価: FutureVulsのSSVC（Stakeholder-Specific Vulnerability Categorization）機能により、インポートした脆弱性データを自動でリスク評価し、優先順位を設定します。
チケット機能との連携: インポートしたスキャン結果をチケットとして管理し、担当者の割り当てや対応状況の追跡が可能です。
外部スキャン結果のインポート手順
...
追加 RAG アリのアプリでは、「ナレッジ」として取り込んだブログの内容が、質問への回答に反映されていることが確認できました。僅かな操作で、LLM に「学習させる」ことができました。
おわりに
本ブログでは
① Dify で LLM Bot アプリを構築する
② LLM Bot アプリに RAG を学習させる
の2つを扱いました。
日頃のニュースで「RAG により LLM の学習限界を突破する」ことは十分理解しているつもりでした。しかしながら、簡易版だとしても実際に自分で動かしてみると、サブスクの AI ツールで当たり前に享受しているメリットとは別の感触としての実体験を通したリアルの驚きを感じられました。
また、Jina Reader により Web ページをスクレイピング取得した際に、テキストデータをどのように分割すれば、回答の精度を上げられるのかという実務的な検討ポイントが存在することも体感できました。
エンジニアである以上、こういったリアル感を伴った一次情報を AI 時代でも大事にしていきたいと思うきっかけになりました。
以上、ここまで長文にお付き合いいただき、ありがとうございました。