Webページの遅延読み込みの事例と解決策

この記事の内容
  1. 問題の概要
  2. 解決の考え方
  3. 解決策
  4. 行要素に一意に識別できる属性がある場合
  5. index のような属性が見つからない場合
  6. 現在のページのデータ総数が不明な場合
  7. その他の考えられる解決策

問題の概要

解決の考え方

解決策

  • 行要素に一意に識別できる属性がある場合
  • index のような属性が見つからない場合
  • 現在のページのデータ総数が不明な場合
  • その他の考えられる解決策

問題の概要

以下は受注管理画面の例です。要素ID、属性、注文情報の項目名、件数は、実際に操作するページに合わせてください。

遅延読み込みの問題とは、Webページが画面に表示される要素だけを描画するため、画面外の要素を検証したり、その情報を取得したりできないことです。以下では、サンプル受注管理システムの注文情報の取得を例に説明します。

1 ページに 50 件の注文情報がありますが、Webページのコードでは 16 個の要素しか読み込まれていません。さらにページをスクロールすると、次のようになります。

後ろの要素が読み込まれる一方で、前の要素は消失します。常に表示されない要素があるため、データの取得に影響します。

解決の考え方

ループ内でリストを管理し、取得済みの行データを記録します。無限ループでマウスホイールを下方向にスクロールし、現在表示されている要素を取得します。この index 属性をリストと比較し、その要素のデータが取得済みであればスキップします。取得済みのデータが 50 件に達したら、データの取得を停止します。

あるデータが取得済みかどうかは、どのように判断すればよいでしょうか。

Webページのコードを見ると、データの行要素の index 属性は一意に決まり、0 から 49 までの 50 個の数値であることがわかります。この考え方を検証してみます。

現在のページに表示されている 6~17 行の値が出力されました。

この考え方で、このページのすべての行要素の index 値を出力できるか試してみます。

フローの実行ロジック:

開いているサンプル受注管理システムの注文ページの Webページオブジェクトを取得します -> リストを新規作成し、记录列表として、取得済みの行の index 属性を記録します -> 下方向にスクロールする無限ループを開始します。無限ループの終了条件は、记录列表の長さが 50 になることです(ページ上のすべての行要素の属性データを取得した状態です) -> 無限ループ内で類似要素のループを開始し、現在の Webページにあるすべての行要素の index 属性を順に取得します。この属性がすでに记录列表にある場合は、次のループに進み、ページ上の次の行要素を同じルールで判定します。この属性が记录列表にない場合は、属性を出力してリストに追加します -> 現在のページに表示されている類似要素を一通り処理するたびに、マウスで Webページを下方向にスクロールします。上記の条件に基づいて最下部に到達したかを判定し、到達していればループ全体を終了します。

実行結果:

現在のページにあるすべての行の属性値 0~49 が、重複なく出力されました。

解決策

以下では、この考え方を使って、ページ全体からいくつかのフィールドのデータを実際に取得します。

行要素に一意に識別できる属性がある場合

コマンド要素を取得(Web)を以下のように設定します。

親要素への関連付けについては、Webページで親要素に関連付けて子要素を探すを参照してください。

フローの実行ロジック:

開いているサンプル受注管理システムの注文ページの Webページオブジェクトを取得します -> リストを新規作成し、记录列表として、取得済みの行の index 属性を記録します -> リストを新規作成し、数据列表として、取得済みのデータを記録します -> 下方向にスクロールする無限ループを開始します。無限ループの終了条件は、记录列表の長さが 50 になることです(ページ上のすべての行要素の属性データを取得した状態です) -> 無限ループ内で類似要素のループを開始し、現在の Webページにあるすべての行要素の index 属性を順に取得します。この属性がすでに记录列表にある場合は、次のループに進み、ページ上の次の行要素を同じルールで判定します。この属性が记录列表にない場合は、この親要素に関連付けて、現在のオンライン注文番号と購入者アカウント+店舗の要素を取得します。それぞれのテキストを取得したら、リスト数据列表の末尾に追加します -> 現在のページに表示されている類似要素を一通り処理するたびに、マウスで Webページを下方向にスクロールします。上記の条件に基づいて最下部に到達したかを判定し、到達していればループ全体を終了します -> 列表数据を Dr.Robo のデータテーブル領域に書き込みます。

フローの実行結果:

index のような属性が見つからない場合

Webサイトによっては、行要素に index のような一意に識別できる属性がなく、その属性で判定できないことがあります。この場合は、注文番号や商品コードなど、ページ上にあるデータを一意に識別するための判定基準として使うことを検討します。

以下では、index の代わりにサンプル受注管理システムの内部注文番号を判定基準として、同じ画面でデータを取得します。

フローの実行ロジックは同様です。唯一の違いは、行要素の index を取得する代わりに、ループで現在処理している行要素を親要素として関連付け、内部注文番号を探して判定基準にすることです。これを记录列表に記録し、判定の根拠にします。

現在のページのデータ総数が不明な場合

現在のページに何行のデータがあるかわからず、记录列表の長さから無限ループを終了すべきか(ページの最下部に到達したか)を判断できないことがあります。この場合は、別の判定条件を検討する必要があります。

終了判定をしないと無限ループは続きますが、画面下部までスクロールした後は、记录列表と数据列表の長さが変化しなくなることに注目します。记录列表に記録済みのデータは再取得しないように判定しているためです。この点を利用して、ページの最下部に到達したかを判断できます。

ループ内で前回の记录列表の長さを記録し、現在のページの類似要素を一通り処理した後の记录列表の長さと比較します。増えていなければ、外側の無限ループを終了します。

その他の考えられる解決策

サンプル受注管理システムの注文ページで F12 を押すと、id が _jt_body の要素があります。この要素の style 属性は height: 1035px; overflow-x: auto; です。この属性をダブルクリックし、1035px を 10000px に変更して Enter を押します。

以前キャプチャした行要素でも、50 個の要素を検証できるようになります。

Dr.Robo での操作方法:

_jt_body 要素をキャプチャします:

サンプル受注管理システムの注文ページを例にした、設定する属性:height:10000px;overflow-x:auto

ソリューションの記事一覧ページの先頭へ ↑