ISA は、UI エレメントと図形を自動的に検索することで、拡張されたスクリーン認識機能を提供します。

ISA は、制限付きのアプリケーションまたは Citrix などのオートメーションなしの API を自動化するのに役立ちます。また、このオプションを使用して、リモート デスクトップ アプリケーションや SAP などの低速アプリケーションを自動化することもできます。一般的に、このオプションは、ウィジェット ツリーが正しく生成されていないアプリケーション、またはファインダーを作成することが困難なアプリケーションに使用できます。

認識された各 UI エレメントには、ファインダーで使用できる複数の属性が含まれています。

共通の属性

• der_x、der_y、der_width、der_height: エレメントの座標とサイズ。

• lt_16_5、rb_15_4: エレメントの左上および右下座標を基準にして計算された数値。プログラムの状態が異なると要素の座標が変化する場合には、ファインダーが正しく動作しない可能性があります。たとえば、選択すると太字になるテキストが、選択を解除した際に座標が変化する場合などです。このプロパティでは、座標の変化に伴う問題が排除されるため、信頼性の高いファインダーを作成できます。UI エレメントに name プロパティがある場合、アクション ステップを挿入すると、ファインダーによってデフォルトで使用されます。それ以外の場合、ファインダーではプロパティ lt_16_5 が使用されます。

次の表に、サポートされる UI エレメントを示します。

UI エレメント名	ウィジェット名	エレメント固有の属性	注意
ダイアログ ボックス、フレーム、ペイン、その他	container	該当なし	他のエレメントを含む一般的な親エレメント。たとえば、ダイアログ ボックス全体またはこのダイアログ ボックス内のフォームをコンテナにすることができます。Kofax RPA によって認識される特別なコンテナの 1 つがテーブルです。
ボタン	button	name	境界線が定義された通常のボタン。
アイコン	icon	label	テキストを含まないグラフィック エレメント。
テーブル	table		テーブルは、ウィジェット ツリー内で別々のエレメントとして表されます。結合されたセルは認識されず、ヘッダーは通常のセルと同じです。それぞれのセルは、ウィジェット ツリー内の item として定義されます。アイテムには、チェック ボックスやテキスト ボックス、およびその他の UI 要素を含めることができます。
テキスト ボックス	textbox	label	テキスト フィールド。
チェック ボックス	checkbox	label
オプション ボタン (またはラジオ ボタン)	radiobutton	label
テキストとテキスト ラベル	linklabel	name	ダイアログ ボックスのサブタイトルなどのスタンドアロンのテキスト要素、またはチェック ボックスのラベルやテキスト ボックスのラベルなどの UI 要素のラベル。 テキストが UI エレメント ラベルとして認識される場合、UI エレメントにはラベル名を値とする label プロパティが含まれます。 次の例では、textbox 要素に label="Name" プロパティが含まれます。

ISA のヒント

• スクリーン フォント、背景色と前景色、テキスト サイズなど、さまざまな要素によって認識結果は異なります。認識結果を改善する場合は、明るい背景や大きなフォント サイズでの等幅の黒色フォントを使用するなど、カラー スキームを変更してみます。
• テキスト フィールドでは選択されて反転色になったテキストが正しく認識されないことがあります。認識結果を改善するには、値を抽出する前にテキスト フィールドの範囲選択を除去します (他の場所をクリックするなど)。
• 状態によって異なって認識される可能性のある動的コンテンツ フォームとテキスト フィールドを操作する場合は、ツリーの凍結ステップを使用してウィジェット ツリーの状態を保持し、認識結果を向上させます。
• 要素から値を抽出する場合は、Windows オートメーション API を使用する場合と同様に、値を抽出アクションを使用します。エレメントの値が ISA モードで認識されない場合は、画像からテキスト抽出アクションを実行してください。
• 拡張 OCR 設定は、ocr.cfg ファイルで編集できます。詳細については、拡張 OCR 設定を参照してください。

• TTF フォントまたは UI スクリーンショットのいずれかを使用して、Tesseract が文字セットを認識できるようにトレーニングすることができます。詳細については、Tesseract のトレーニングを参照してください。

重要 Windows の自動化されたデバイスにリモート デスクトップ接続 (RDP) 経由でリモート接続する場合、「接続品質の自動検出」オプションがデフォルトで選択されます。この場合、RDP アプリケーションで、コンピュータとリモート デバイス間のネットワーク接続速度に応じて視覚効果の有効/無効を切り替えることができますが、ロボットが ISA を使用している場合には、これにより問題が発生する可能性があります。ISA では、同一のアプリケーション状態で、ピクセル単位で同一の画像を常に受信することが重要です。以下の方法を使用して、ISA が適切に動作していることを確認します。

• 開くのステップとその次のデバイスへの接続ステップで RDP 接続 (rdp://user:pw@host など) を使用します。

• RDP 経由での接続時には、必ず明示的に指定された同一の品質設定を使用します。接続速度などのオプションは、[リモート デスクトップ接続] ウィンドウの詳細設定オプションで設定することができます。

UI 認識言語の変更または追加

デフォルトでは、ISA は英語の UI を自動化できます。デフォルトの OCR 言語の変更と同様の手順を使用して、UI 認識言語を追加できます。スクリーン認識で複数の言語を同時に使用すると、ロボットの実行が遅くなり、認識結果が低下することに注意してください。

1. 必要な言語の .traineddata ファイルを https://github.com/tesseract-ocr/tessdata からダウンロードします。たとえば、日本語のファイルは jpn.traineddata です。
2. ダウンロードした trained データ ファイルを適切なフォルダにコピーします。

   • Desktop Automation サービスがインストールされた Windows ベースの自動化されたコンピュータでは、

     Desktop Automation サービス インストール ディレクトリの DesktopAutomationService\lib\tessdata。例：

     C:\Program Files (x86)\Kofax RPA DesktopAutomation 10.3.0 x32\DesktopAutomationService\lib\tessdata

   • 組み込みブラウザを使用するローカルの Windows ベースのコンピュータでは、

     Kofax RPA のインストール ディレクトリの nativelib\hub\windows-x32\<build number>\lib\tessdata にコピーします。例：

     C:\Program Files\Kofax RPA 10.3.0.0 x64\nativelib\hub\windows-x32\622\lib\tessdata

   • 組み込みブラウザを使用するローカルの Linux ベースのコンピュータでは、

     Kofax RPA インストール ディレクトリの nativelib/hub/linux-x64/<build number>/lib/tessdata。例：

     Kofax_RPA_10.3.0.0_x64/nativelib/hub/linux-x64/533/lib/tessdata

   * ビルド番号は、プログラムのバージョンごとに異なります。

3. テキスト エディターで、lib ディレクトリにある isa.cfg ファイルを開きます。
4. ocr_language パラメータで eng を jpn に置き換えるか、複数の言語を使用する場合は、ocr_language=eng+jpn などのプラス記号を使用して jpn を追加します。ファイルを保存して閉じます。
5. 変更を有効化するには、Desktop Automation サービスを再起動します。

Windows アプリケーション用のウィジェット ツリーを生成するために、Kofax RPA は、Windows に組み込まれた UI オートメーション フレームワークを使用します。また、Kofax RPA には、特定のアプリケーションに対する複数の拡張サポートが用意されています。Kofax RPA の拡張機能を使用してアプリケーションを操作している際に問題が発生した場合は、[Windows] ツリー モードでの選択を解除し、アプリケーションをオフにします。

Excel

スプレッドシートからセルを取得するなどの、Microsoft Excel の拡張サポートを有効にします。Kofax RPA では、Excel のサポートについても組み込み Excel 機能で拡張されています。

注 以下のステップで Excel 上の操作をするときは、リモート デバイス上の Excel で 「テキストを入力」ステップを使用する際に、Excel のスプレッドシートを編集モード (「編集」という語句が Excel のプログラム ウィンドウの左下隅に表示される状態) のままにしないでください。編集モードを終了するには、以下の手順を実行します。

• キープレス ステップを使用して Enter キーを押します。Excel の編集モードが終了し、現在のセルの下のセルが直接選択されます。
• キープレス ステップを使用して Tab キーを押します。編集モードが中止され、現在のセルの右のセルが選択されます。
• 別のセルをクリックします。
• キープレス ステップを使用して F2 キーを押します。

詳細については、 Microsoft のドキュメントを参照してください。

Internet Explorer

Internet Explorer の拡張サポートを有効にして、DOM (Document Object Model) ツリーを取得することにより、ウィジェット ツリーでより正確な結果が得られます。また、Kofax RPA には、Web サイトにアクセスするための Chromium ベースの組み込み Web ブラウザが用意されています。

Java

状況によっては、Java Access Bridge が動作しないため、このオプションの選択を解除してレガシー モードに切り替えることをお勧めします。[Java] オプションは、Internet Explorer の Java アプレットにも影響を与えます。

SAP

SAP は他の Windows アプリケーションとは異なる方法で処理されます。SAP を使用した操作は、低速となる可能性のあるスクリプト API に依存します。このオプションをオフにすると、SAP サポートがオフになります。

非表示

アプリケーションのウィジェット ツリー全体を抽出するかどうかを指定します。デフォルトでは、このオプションが選択されています。この選択を解除すると、Kofax RPA は、多くのエレメントを含むリスト ボックスやテーブルなど、オフスクリーンとして報告されるエレメントをスキップします。選択を解除すると、ツリーの抽出に必要な時間が短縮されます。

レガシーの深度とインデックス

Kofax RPA 10.2 で使用されていたウィジェット ツリーに「深度」属性と「インデックス」属性を追加します。「深度」属性と「インデックス」属性を持つコンポーネント ファインダーを使用する Kofax RPA バージョン 10.2 で作成されたロボットを使用する場合は、Kofax RPA 10.3 以降で動作するロボットに [レガシーの深度とインデックス] を選択します。

• [最大深度]: ビュー内のすべてのアプリケーション ウィンドウに各ノードが表示する、ネストされたエレメントの最大数を設定します。
• [兄弟の最大数]: ビュー内のすべてのアプリケーション ウィンドウに各ノードが表示する、兄弟エレメントの最大数を設定します。

  制限なしの場合は 0 を指定します。

Excel API 再試行カウント

Windows API から Excel ウィンドウにアクセスする際の再試行の回数を指定します。Excel 応答が遅い場合は、この回数を増やすことができます。

Excel API 再試行の待ち時間

Windows API から Excel ウィンドウにアクセスする際の再試行の間隔をミリ秒単位で指定します。