要素のキャプチャ

この記事の内容
  1. 要素とは何ですか?
  2. キャプチャ方法の紹介
  3. 要素を編集する必要があるのはなぜですか?
  4. 一般的な要素の編集方法
  5. 1. デフォルトセレクター:
  6. 2. Xpath:
  7. 3. アンカー:
  8. 類似要素をキャプチャ
  9. 要素を検証
  10. 再キャプチャ
  11. その他

要素はページの「部品」のようなものです。ロボットに、どの部品を認識するかを指示する必要があります。要素エディターを使うことは、「目」にその部品の位置を教えることに似ており、要素を正確に特定できるようになります。

要素とは何ですか?

「要素」とは、Webページやソフトウェア内のあらゆる内容を指します。たとえば、テキスト、画像、ボタン、入力欄、ドロップダウンメニューなどです。要素をキャプチャすると、コマンドを使用して、クリック、内容の入力、情報の抽出など、さまざまな操作を要素に対して行えます。

キャプチャ方法の紹介

新しい要素をキャプチャ:Webページやソフトウェアの要素をキャプチャします。Webページやソフトウェアの要素を操作する必要がある場合は、このキャプチャ方法を選択できます。
深度モードでキャプチャ:Windowsのソフトウェア要素向けに設計されたキャプチャモードです。Windowsソフトウェアの要素は、このモードのほか、「新しい要素をキャプチャ」モードでもキャプチャできます。
CVスマートモードでキャプチャ:上記の2種類のキャプチャモードでは要素をキャプチャできないソフトウェアの場合に、このモードを使用できます。

注:このモードは画像認識によって要素をキャプチャするため、パソコンごとの画面解像度の違いによる影響を受けやすくなります。使用時はご注意ください。

要素を編集する必要があるのはなぜですか?

通常は、要素をキャプチャすると対象を正確に特定できます。しかし、一部の特殊な要素は、キャプチャ時には成功したように見えても、実行時には毎回「要素が見つかりません」と表示されます。まるでWebページ上でかくれんぼをしているように、すぐには見つけられません。そのため、要素エディターで位置を特定するためのルールを設定し、RPAロボットがこれらの要素を安定して捉えられるようにする必要があります。

一般的な要素の編集方法

通常は「デフォルトセレクター」で要素を編集し、要素ノードの属性を調整して要素を特定します。上級者は「Xpath」パスを使って要素を編集できます。このほか、要素に「アンカー」を追加して、位置の特定を補助することもできます。以下では、これらの一般的な使い方を紹介します。

1. デフォルトセレクター:

初心者には、デフォルトセレクターで要素を特定することをおすすめします。左側の要素ノードでページの階層構造を確認し、指定する構造にチェックを入れます。右側でノードの属性にチェックを入れると、その要素の特定に役立ちます。

一般的な要素ノード属性の使い方:

属性 用途 使用例
index 要素の順序を表す属性で、親要素内における現在の要素の位置を示します。 0は、その要素が親要素内の最初の子要素であることを示します。
id 要素の一意の識別子です。通常はページ内で最も安定しており、最も推奨される指定方法です。 123は、要素のidが123である要素を示します。
class 要素のクラス名です。同じスタイルを持つ要素のグループを絞り込むために使用できます。 nameは、クラス名がnameである要素のグループを示します。
innertext 要素内部のテキスト内容です。表示される文字に基づいて要素を特定する場合に適しています。 Dr.Roboは、テキストがDr.Roboである要素を示します。
xbox-display 要素が表示されるかどうかを判定するために使用します。値がtrueの場合は表示され、falseの場合は表示されません。 trueは、要素がWebページ上に表示されていることを示します。

2. Xpath:

上級者には、Xpathパスで要素を特定することをおすすめします。Xpathは、幅広く対応でき、安定性と柔軟性を備えた指定方法です。

よく使うXpath式:

式 説明 使用例
/ ルートノードから検索します。 /html/body/div
// 階層をまたいで検索します(任意の位置)。 //div
@ 属性値で検索します(classやidなど)。 //div[@class="container"]または//span[@id="title"]
text() テキスト内容で検索します。 //button[text()="提交"]
* 任意のノードに一致するワイルドカードです。 //div/*(div配下のすべての子ノードを検索します)
. 現在のノードです。 ./span(現在のノードから子のspanを検索します)
.. 現在のノードの親ノードです。 ../div(現在のノードの親の配下にあるdivを選択します)
[1] 最初の要素です(1から数えます)。 //ul/li[1]
[last()] 最後の要素です。 //ul/li[last()]
[position()<3] 最初の2つの要素です。 //li[position()<3]
(式)[1] 結果から最初の要素を取得します。 (//div[@class="item"])[1]
/bookstore/book[price>35] 条件で絞り込みます。 /bookstore/book[price>35](priceが35より大きい本を検索します)

3. アンカー:

アンカーは、位置の特定を補助する方法です。船のいかりのように基準点となり、対象要素と関連付けられます。要素をキャプチャするときに、その要素にアンカーを自動または手動で追加できます。これにより、ロボットの実行時には先にアンカーを見つけ、そこから対象要素を特定します。アンカーは、対象要素が一意ではない場合に非常に有効です。

類似要素をキャプチャ

単一の要素をキャプチャした後、エディター上部の「類似要素をキャプチャ」をクリックし、それに似た2つ目の要素を選択すると、システムがこの要素グループを自動的に認識します。このとき画面が点滅し、「保存」をクリックすると保存が完了します。(一連の類似要素をキャプチャすると、通常はコマンドで要素を一括操作できます。たとえば、「類似要素を繰り返す」コマンドと「マウスの操作」コマンドを組み合わせると、各類似要素を順番にクリックできます。)

要素を検証

キャプチャの完了後、要素の信頼性を確保するために、「要素を検証」機能で有効性を検証できます。「要素を検証」をクリックすると、ページ内で見つかった要素がハイライトされて点滅します。要素を編集してパスを調整することで、より正確に要素を特定できます。

再キャプチャ

キャプチャの完了後、「再キャプチャ」を選択して要素を再度キャプチャできます。


よくある質問

要素が見つかりません。
通常、原因は次の2つです。
1. Webページオブジェクトの選択を間違えています。たとえば、現在開いているのがWebページAなのに、WebページBの要素を検索しようとしている場合は、当然見つかりません。
2. 対象が動的な要素で、要素の階層や属性値が変化するため、要素のマッチングルールに合わなくなっています(たとえば、読み込みのたびに異なるclass値が生成されるページでは、固定のclass値で位置を特定しようとしても見つかりません)。要素を編集して要素ノードと属性を調整するか、アンカーで要素の位置特定を補助することをおすすめします。
このほか、要素の非表示、読み込み時間の長さ、iframeの入れ子構造などが原因になる場合もあります。よくある質問の「要素に関するよくある質問」をご覧ください。

複数の要素が見つかった場合はどうすればよいですか?
通常は、要素のマッチングルールの範囲が広いため、類似するルールに一致した要素が複数見つかっています。要素を編集して、より適切な要素ノードにチェックを入れることで範囲を絞り、要素を正確に特定することをおすすめします。また、アンカーを追加して位置の特定を補助し、複数の要素から1つの要素を一意に特定することもできます。

要素のキャプチャに失敗した場合はどうすればよいですか?
通常は標準キャプチャモードで要素をキャプチャできますが、一部のWindowsソフトウェアは構造が複雑です。その場合は、Windowsソフトウェア向けの「要素を深度キャプチャ」を試してください。それでもキャプチャできない場合は、「CVスマートキャプチャ」で要素をキャプチャしてみてください。

要素が非表示になっていてキャプチャできない場合はどうすればよいですか?
要素がドロップダウンリスト内にあり、マウスを合わせないとキャプチャできない場合は、「ctrl+shift+マウスの左クリック」を押してキャプチャを試してください。また、ページ内で要素が非表示になっていたり、ほかの要素に隠れていたりする場合は、「要素の属性を設定」コマンドでその要素の属性を調整できます。たとえば、display:noneを使用して要素を強制的に非表示にできます。

要素を選択すると「要素のタイプが一致しません」と表示されます。
要素のタイプが一致しないのは、通常、Web用のコマンドを使用するときに、誤ってソフトウェア要素を選択しているためです。この問題には、一般的に次の2つの原因があります。
1.要素の選択間違い:キャプチャした要素が、ソフトウェア画面上の要素ではなく、Webページ内の要素であることを確認してください。
2.拡張機能の異常:拡張機能が正常に機能していないと、Web要素がソフトウェア要素としてキャプチャされる場合があります。Webページを更新するか、拡張機能を再インストールしてから、もう一度要素をキャプチャしてみてください。

要素のキャプチャ位置がずれます。
通常は、解像度、テキストサイズ、拡大縮小の影響によるものです。Dr.Roboがキャプチャを呼び出すと、今回の起動時に取得したdpi設定を読み取ります。Dr.Roboの起動後に解像度を変更すると、要素のキャプチャ位置にずれが生じます。「要素のキャプチャ位置のずれ」をご参照ください。

その他

要素はRPAで最も重要かつ複雑な概念であり、初心者にとって最も乗り越えるのが難しい壁になることがよくあります。要素に関する問題を解決できることは、上級開発者になるために必要な条件です。

機能ガイドの記事一覧ページの先頭へ ↑