Power Automate Desktop : 画像検出の仕様を確認する

 Power Automate Desktopには、画像を検出するアクションがあります。コグニティブサービスの画像検索は難しそうなのでオンプレミスで実行できる「条件：画像が存在する場合」と「遅延：画像を待機」で、画面上の画像を検出するアクションがどのような仕様なのか確認しました。今回は特に詳細部分に隠れている「画像照合アルゴリズム」の「基本」と「詳細」の違いにフォーカスしています。下図の下部にある詳細：画面照合アルゴリズム：基本 or 詳細 の部分になります。

結論：

 結論としては、「画像照合アルゴリズム」が「詳細」の場合は、デフォルトの「基本」より厳密に照合させる仕様のようです。基本の場合は多少ノイズがあっても検出します。

実験方法：

 Chromeのアイコンを抽出対象の画像と設定し、同じ画像に対してラインを重ねる本数を増やし、どちらの設定の場合どのような結果になるのか確認を行いました。他のウィンドウで目隠しをすることで対象の画像のみを検査させるようにしています。

実験結果：

 「画面照合アルゴリズム」が「基本」の場合、線が3本入っている状態でも検出してくれました。つまり下図では、一番右の線が４本重なっている図以外は、オリジナル画像と一致すると判定しました。

 「画面照合アルゴリズム」が「詳細」の場合は、オリジナル画像しか一致する画像として判定しませんでした。突き抜けているラインを半分程度重ねた時点で検出されなくなります。それ以外の「詳細」の特徴としては、「基本」と比較して検出処理に時間がかかるようです。目に見えて動作が遅くなりました。「検索モード」を指定されたサブ領域のみを検索するように設定して処理範囲を絞ったほうが良いように思います。

 また、画像の拡大・縮小を行った場合はアルゴリズムに関係なく一切検出しなくなります。一致度のようなパラメタが指定できるようになると利用シーンが増えるように思いました。