Lv3 ・ 120 分

Step 3 RAG 前処理（ビジネス向け）

複数ページを取得し、Dify ナレッジに入れて AI が参照しやすい状態に整える。

このハンズオンでは、複数の Web ページをまとめて取得し、Dify ナレッジに入れて AI が根拠つきで答えやすい状態を作ります。Chroma や埋め込み設定を自前で組む代わりに、Dify のナレッジ機能を使います。

向いている用途は次のとおりです。

RAG 前処理パイプライン — Crawl API → Markdown → チャンク分割 → 埋め込み生成 → ベクトル DB

ゴールと所要時間

最初は「更新頻度が高く、業務でよく参照するページ」に絞るのがコツです。例:

Bright Data に複数 URL をまとめて依頼します。ここでの考え方は「投げて待つ」処理です。すぐ全部返ってこなくても問題ありません。

画面操作の流れは次のイメージです。

入力例の考え方:

[
  { "url": "https://example.com/pricing" },
  { "url": "https://example.com/faq" },
  { "url": "https://example.com/news" }
]

RAG 用途では、HTML より Markdown のほうが扱いやすいことが多いです。理由は次の 3 つです。

分割設定は、最初は Dify の標準設定で十分です。細かい調整は、回答が長すぎる、根拠が混ざる、と感じてからでかまいません。

ナレッジを接続した Dify アプリを作り、次のように聞きます。

このナレッジだけを根拠に、競合 3 社の料金体系の違いを表で整理してください。
各行に出典 URL を付けてください。

期待する出力は次のような形です。

ナレッジは作って終わりではありません。更新ルールを決めます。

最初からサイト全体を入れるより、よく使うページだけで始めたほうが回答品質が安定します。

営業用_競合料金, 広報用_競合ニュース のように分けると、あとで混ざりにくくなります。

「推測で埋めない」「出典 URL を必ず付ける」と最初に指示しておくと、社内利用しやすくなります。

ナレッジ化ができたら、次は表として比較しやすい EC データ分析に進めます。