Webページのデータ取得時にページ送りや下方向へのスクロールが必要な場合

この記事の内容
  1. 総ページ数を特定できる場合
  2. 総ページ数が不明な場合
  3. 方法①
  4. 方法②
  5. すべての要素を読み込むために下方向へのスクロールが必要な場合
  6. ケース① 「さらに読み込む」ボタンのクリックが必要な場合
  7. ケース② 最下部にスクロールすると自動的に読み込まれる場合
  8. コツ① 最下部にスクロールすると決まったメッセージが表示される場合
  9. コツ② フッターの固定要素をクリックして最後までスクロールする
  10. 下方向にスクロールしても常に一部の要素しか検証できない場合
  • 総ページ数を特定できる場合
  • 総ページ数が不明な場合
  • 方法①
  • 方法②
  • すべての要素を読み込むために下方向へのスクロールが必要な場合
  • ケース① 「さらに読み込む」ボタンのクリックが必要な場合
  • ケース② 最下部にスクロールすると自動的に読み込まれる場合
  • コツ① 最下部にスクロールすると決まったメッセージが表示される場合
  • コツ② フッターの固定要素をクリックして最後までスクロールする
  • 下方向にスクロールしても常に一部の要素しか検証できない場合

総ページ数を特定できる場合

最終ページのページ番号の数値要素をキャプチャします:

または、「全 XXX ページ」のようなテキスト要素をキャプチャします:

この場合は、「全 100 ページ」というテキストから数字を抽出する必要があります:

「表データを取得」コマンドで「複数ページを取得」を選択し、「取得方法」に取得したページ数を入力します:

または、「指定回数ループ」で決まった回数のループを行い、ループ内でページ送りボタンをクリックします:

総ページ数が不明な場合

ページを送りながらすべてのデータを取得する必要があるものの、総ページ数が不明な場合です。

F12 を押して次のページの要素のソースコードを確認します(開発者ツールで要素を特定するコツを参照)。ページ送りボタンをクリックできる場合は、この要素の class 属性に disabled が含まれず、クリックできない場合(最終ページの場合)は disabled が含まれていることがわかります。

方法①

要素をキャプチャする際に、要素編集で、この要素の絞り込み条件が両方の状態の要素に一致するようにします。変化する属性(ここでは class)以外の属性で要素を特定するか、変化する属性を正規表現で幅広く一致させることもできます:

次に、無限ループ内で、両方の状態に共通して使えるこの要素の特定の属性を判定します。属性が条件を満たした場合(ここでは disabled を含む場合)は、現在のループを終了し、データの取得を停止します:

方法②

要素をキャプチャする際に、この要素の絞り込み条件が、正常にクリックできる次のページの要素だけに一致するようにします。例えば、要素編集で違いのある属性にチェックを入れます。ここでは class にチェックを入れます:

次に、ループ内でこの要素が存在するかを判定します(チェックを入れた class 属性が一致しないため、キャプチャしたこの要素では、最終ページのページ送りボタンを検証できません)。この要素が見つからない場合は、現在のループを終了します:

すべての要素を読み込むために下方向へのスクロールが必要な場合

ケース① 「さらに読み込む」ボタンのクリックが必要な場合

まず「さらに読み込む」ボタンをクリックし、すべての要素が読み込まれてからデータを取得します。

ケース② 最下部にスクロールすると自動的に読み込まれる場合

Webページを最下部にスクロールすると、データが自動的に読み込まれます。「ページをスクロール」で最下部までスクロールしてデータの読み込みを続け、スクロール前後の要素数が同じかどうかを判定します。同じであれば、現在のループを終了します。その後、データを取得します。

「ページをスクロール」の後に、Webページの読み込みが完了するまで適宜待機できます(「待機」コマンド)。

コツ① 最下部にスクロールすると決まったメッセージが表示される場合

Webページを最下部にスクロールすると、「これ以上ありません」「最下部に到達しました」「アプリをダウンロードして続きを見る」などのメッセージが表示されることがあります。これらの要素が存在するかどうかを判定基準にできます。

コツ② フッターの固定要素をクリックして最後までスクロールする

Dr.Robo で Webページの要素をクリックする際、その要素が見つかっていても現在のウィンドウに表示されていない場合は、その要素の位置まで自動的にスクロールします。フッターにある、クリックしても動作しない要素をクリックすると、最後まで素早くスクロールできます。

下方向にスクロールしても常に一部の要素しか検証できない場合

Webページの遅延読み込みの事例と解決策を参照してください。

ソリューションの記事一覧ページの先頭へ ↑