Web通信の監視コマンドを使ったデータの取得
この記事の内容
Webページからデータを取得する際に、一部のグラフのデータを取得できない、要素が頻繁に変わる、ページ内の広告が操作に影響するといった場合は、Web通信の監視を使って目的のデータを取得する方法を検討できます。
操作手順
① データを取得したい Webページを開き、ページ上で F12 を押して開発者モードを開きます。
② Ctrl + R を押して Webページを再読み込みします。
③ 目的のデータの読み込みが完了するまで待ち、ネットワーク(Network)タブの検索ボックスをアクティブにして、目的のデータを入力し、Enter を押します。
④ 図のとおりです。
目的のデータが見つからない場合は、表示される可能性のある別のデータで検索する、キーワードの数を減らす、またはリクエスト一覧でデータを順に探す方法を試してください。
⑤ データの監視を開始します。Webページオブジェクトを取得 - リクエストの監視を開始 - ページ移動 / 更新(再読み込み)- 実行を遅延(読み込み完了を待つ)- Web通信の監視結果を取得(最初の手順で得られた URL の監視結果を取得)- Webページのリクエスト監視を停止、の順に実行します。
データ量が多い可能性があるため、出力せず、まずテキストファイルに書き込むことをお勧めします。
⑥書き込んだファイルを開き、Crtl + F を押して検索し、目的のデータが含まれているかを確認します。
⑦コマンドで Webページのリクエスト結果を取得すると、対象 url の各種データを含む辞書が得られます。response 内のデータは、ループ項目の辞書のキー ["body"] に含まれています。body は文字列なので、json オブジェクトに変換すると、その中のデータを抽出できます。
構造を確認しやすくするために、body のデータを取り出し、JSON を整形できるエディターで表示します。
整形ツールに貼り付けると、目的のデータがリスト goodsDetailList にあることがわかります:
そこで、以下のロジックで対応するデータを取り出します:
フローの実行結果: