Power Automate Desktop の 画像判定がゲームで使えるか？

  Power Automate Desktopの画像判定機能を実験してみました。用意した画像にマッチする画像が画面上に表示されているか判定するための機能です。RPAツールには画像を判定する機能たいてい実装があると思いますが、試行錯誤するときには特にPADは良くできていると感じました。

 他ツールは調べたい画像イメージは事前にキャプチャしてファイルに保存しておく必要がありますが、PADはWin+Shift+Sと同じような動きで、その場でデスクトップの一部を指定して抽出することができます。編集画面でキャプチャした画像を確認できるのはもちろんのこと、複数キャプチャした場合の選択、一度対象から外してもキャプチャ履歴が残っていますので試行錯誤がやりやすくなっています。

 実行してみた印象としては、パフォーマンスに難ありですね(何に使おうと思っているのかバレますが・・・)。画面全体やフォアグラウンドデスクトップ全体等ではなく、座標指定で範囲を絞ることができますので、可能な限り絞り込みましょう。

 １か所ハマったのが、「リストにある画像を全て検索する」のオプションです。オフにした場合は先頭だけ検索するのかと想像して実験していましたが、複数画像が指定されている場合はAND検出かOR検出かの違いでした。

ちなみに先日の背景が透けて見えるステータス表示が検出可能なのか実験もしてみました。下画像の例では、右端中段に「浮き」の拡大画像があります。アタリがあると浮きが動き、最終的にはこの拡大表示が消えるのですが、この部分を検出させることはできませんでした。ほぼ背景ということもあり検出は難しそうではありますが、明るさを調整して真っ暗な状態にしてみてもできなかったので、厳密に画像が一致しなければ検出されないように思います。