Web通信の監視コマンドを使ったデータの取得

この記事の内容
  1. 操作手順

Webページからデータを取得する際に、一部のグラフのデータを取得できない、要素が頻繁に変わる、ページ内の広告が操作に影響するといった場合は、Web通信の監視を使って目的のデータを取得する方法を検討できます。

操作手順

① データを取得したい Webページを開き、ページ上で F12 を押して開発者モードを開きます。

② Ctrl + R を押して Webページを再読み込みします。

③ 目的のデータの読み込みが完了するまで待ち、ネットワーク(Network)タブの検索ボックスをアクティブにして、目的のデータを入力し、Enter を押します。

④ 図のとおりです。

目的のデータが見つからない場合は、表示される可能性のある別のデータで検索する、キーワードの数を減らす、またはリクエスト一覧でデータを順に探す方法を試してください。

⑤ データの監視を開始します。Webページオブジェクトを取得 - リクエストの監視を開始 - ページ移動 / 更新(再読み込み)- 実行を遅延(読み込み完了を待つ)- Web通信の監視結果を取得(最初の手順で得られた URL の監視結果を取得)- Webページのリクエスト監視を停止、の順に実行します。

データ量が多い可能性があるため、出力せず、まずテキストファイルに書き込むことをお勧めします。

⑥書き込んだファイルを開き、Crtl + F を押して検索し、目的のデータが含まれているかを確認します。

⑦コマンドで Webページのリクエスト結果を取得すると、対象 url の各種データを含む辞書が得られます。response 内のデータは、ループ項目の辞書のキー ["body"] に含まれています。body は文字列なので、json オブジェクトに変換すると、その中のデータを抽出できます。

構造を確認しやすくするために、body のデータを取り出し、JSON を整形できるエディターで表示します。

整形ツールに貼り付けると、目的のデータがリスト goodsDetailList にあることがわかります:

そこで、以下のロジックで対応するデータを取り出します:

フローの実行結果:

ソリューションの記事一覧ページの先頭へ ↑