Power Automate DesktopのOCR機能でゲームのステータスをチェックできるか？

 Ultimate Fishing Simulatorに限らず、ゲーム中の状態やステータスが画面上に表示されています。釣りの場合だと、水深や距離、ドラグの強弱、浮きの状態等でしょうか。
 今回は画面上に表示されているステータスがPower Automate DesktopのOCR機能で読み取ることができるか実験してみました。ちなみにUltimate Fishing Simulatorでは、右下に表示されている距離の左が自分の位置からの距離、右が水深となっています。

 拡大するとこのようになります。プロポーショナルフォントであることと、数値が表示されている部分も背景が透けて見えている点がなんとなく読み取りにくそうです。

 やってみたらできました。水深が表示されている部分だけを座標指定して読み取らせていますが、小数点や単位のメートルも識別しています。想像よりも精度が高い印象です。

 ポイントとしては以下になります。結構すごいことが簡単にできてしまう、そんな印象です。

• このゲームは、解像度に合わせて画面上の表示領域も解像度に合わせて変化します。そのため解像度を落とすと文字の解像度も落ちるため、解像度を下げすぎると全く読み取れなくなります。1280x1024は読み取ることができましたが、800x600は読み取ることができませんでした。800x600だと人間が見ても読みづらいですけどね。そこそこ解像度が必要です。
• 背景が透けて見える仕様もやっかいです。背景の明るさは影響を受けないようで、昼間の空やボートの白い部分でも問題ありませんが、植物や水面のような濃淡さ混じっている背景だとうまく読み取れませんでした。
• 画質、アンチエイリアスは影響がないようでした。