UC-DEV-004DeveloperLv2
CLI で即席収集(markdown / html / screenshot)
ターミナルから即時にコンテンツを取得し、検証や調査に使う。
Bright Data CLI
KPI 例
- 1 タスク時間
- 再実行率
Bright Data CLI は、SDK を組む前にまず挙動を確かめたい場面や、ターミナル主体で調査を回したい場面に向いています。公式コマンドは scrape、search、browser、zones、budget までそろっているので、PoC の切り分けをコードより先に進めやすいのが利点です。
誰の課題か
- まずはコードを書く前に、対象ページが取れるかをターミナルで確認したい開発者
- HTML ではなく Markdown やスクリーンショットで結果を見たい QA / リサーチ担当
- zone 設定や費用感を、アプリ実装に入る前に把握したいチーム
推奨製品セット
| 製品 | 役割 | このページでの使い方 |
|---|---|---|
| Bright Data CLI | 入口 | 検索、取得、ブラウザ確認、予算確認をまとめて行う |
| Web Unlocker | scrape の実体 | HTML / Markdown / screenshot 取得を担当 |
| SERP API | search の実体 | 検索結果の確認に使う |
| Scraping Browser | browser の実体 | ブラウザ状態を対話的に確認する |
- 初回
brightdata login時に、CLI はcli_unlockerとcli_browserの zone を自動作成すると Docs にあります。 brightdata add mcpもあるため、CLI から MCP クライアント設定へ進む導線も用意されています。
最小実装イメージ
ログインして Markdown / HTML / screenshot を取る
brightdata login --api-key "$BRIGHTDATA_API_KEY"
brightdata scrape https://example.com
brightdata scrape https://example.com -f html -o example.html
brightdata scrape https://example.com -f screenshot -o example.pngscrapeのデフォルト出力は Markdown です。-fにはmarkdown、html、screenshot、jsonを指定できます。
SERP API を CLI から直接たたく
brightdata search "bright data cli" --engine google --country jp --json --prettysearchは Google / Bing / Yandex に対応します。- Google は構造化 JSON、Bing と Yandex は既定で Markdown が返る案内です。
ブラウザ状態を 1 セッションで確認する
brightdata browser open https://example.com --country jp
brightdata browser snapshot --compact
brightdata browser screenshot --full-page -o page.png
brightdata browser closebrowser snapshot --compactは、AI エージェント向けにインタラクティブ要素中心の軽い表現を返します。- 画面遷移後は
refが振り直されるため、クリックや入力の前に毎回 snapshot を取り直す前提で使います。
運用ポイント
- CLI は PoC 向きですが、定常ジョブまでそのまま CLI に寄せると再試行制御や構造化ログで限界が来ます。本番化時は SDK か API へ寄せる判断が必要です。
brightdata zonesとbrightdata budget zonesを先に見ておくと、どの zone をどの用途で使うかの整理がしやすくなります。brightdata add mcpはbrightdata loginで保存された API key を使う仕様です。環境変数を直接読まない点は運用手順に残しておくべきです。scrapeは便利ですが、定形データが必要ならpipelinesや Dataset API のほうが後処理は軽くなります。- ブラウザ確認で「取れる」と分かったあと、同じ処理を Playwright や browser-use に移すのが自然な流れです。