Power Automate for Desktop: UI要素調査方法

-
Power Automate for DesktopでUI要素がうまく取れないため調査してみようと思いました。それにはUI要素の解析ツールが必要です。

Windows 11 での Inspect.exe 入手方法

Inspect.exe はMicrosoft製のUI調査ツールです。単体での提供はなく Windows SDK に含まれる製品のようです。

私はVisual Studio をインストールしていたので、そちらのコンポーネントとして Windows SDK をインストールしました。


1. Visual Studio Community 2022 を入手してインストールします。

Visual Studio Community Microsoft


2. Windowsの「設定」「アプリ」の「インストールされているアプリ」を開き、Visula Studio Community 2022 を探し、「…」から「変更」を選びます。


3. 「個別のコンポーネント」をクリックし、下の方にある Windows SDK を適宜選びます。

私のPCでは、以前からVisual Studio Community を入れていましたが、 Windows SDK はインストールされていませんでした。


4. ウィンドウ右下の「変更」をクリックします。



5. エクスプローラーを起動し、Inspect.exe を探します。

私は次のフォルダーにあったものを使いました。

C:\Program Files (x86)\Windows Kits\10\bin\10.0.22000.0\x64

10や 10.0.22000.0 はバージョンやビルド番号を示しているようです。私はWindows Kitsフォルダーの中で一番新しそうなものを使いました。

arm や x64 などはご利用の環境（CPU）に合わせて適切なものを選ぶ必要があるでしょう。


次の外部ページでは Windows SDK をインストールして、Inspect を利用されています。


Microsoft Accessibility Insights for Windows による UI 要素調査

アサヒロボ研さんのページに、 Microsoft Accessibility Insights for Windows を使った調査方法とセレクター指定方法が書かれていました。

こちらのツールを使うのも一つでしょう。


Edgeを使ったWeb UI要素調査方法

次の外部ページではセレクターについて非常に詳しく解説されていてとても勉強になりました。

文中で、Edgeの機能を使ったWeb UI要素のセレクター調査方法も書かれています。

Edgeだと自動的にセレクターを取得できるので便利です。

リンク先が無くなった時のために、簡単に書いておきます。

  1. 目的の要素を右クリック
  2. 「開発者ツールで調査する」をクリック
  3. 開いたペインで目的の要素を右クリック
  4. 「コピー」「selectorをコピー」をクリック

これでセレクターをコピーすることができます。

Power Automate for DesktopのUIピッカーでは取得できない要素のセレクターもこれで取得できる場合があります。

「開発者ツールで調査する」を使うと右クリックした要素が右のペインに表示されると思いますが、一度では表示されない時がありました。要素を再度右クリックして実行したところ、目的の要素まで展開されました。


昨日、要素が見つからないというエラーが発生しセレクターが間違っているのかとしばらく悩みました。

それでは、いったいどこまで要素を取れているんだと、上の要素から「Web ページ上の要素の詳細を取得します」で取得していったところ、なんと目的の要素も取得できます。

結局、「Web ページでドロップ ダウン リストの値を設定します」の実行タイミングが早すぎて、まだ要素が用意されていないことが原因でした。そりゃ見つからないわけです。


Inspectで調査した要素の属性を取得する

Inspectで調査した要素を、アクションを使って取得することもできます。

Power Automate for Desktop：ウィンドウにある UI 要素の詳細を取得する


コメント

コメントを投稿

アクセス数の多い投稿

セキュリティ対策ソフトのノートンが詐欺ソフトまがいになってしまってショック

-
イメージ
夜の10時に風呂に入っていると、80近くになる実家の母から、突然ノートンの表示が出たけどどうすれば、という連絡がありました。表示されたメッセージは次の通りです。 ！　お使いのパソコンで462件の破損されたレジストリが検出されました。パソコンをクリーンアップしてパフォーマンスを向上させましょう。 レジストリの問題は、パソコンの速度低下、フリーズ、さらにはクラッシュの原因となります。ノートンTMユーティリティーズ　アルティメットを入手して、レジストリの問題の解決とパソコンのパフォーマンス向上に役立ててください。 ノートンがこんな、レジストリが壊れているからと不安をあおって、別の製品を買わせる詐欺ソフトまがいのメッセージを出してくるとは。 親曰く「レジストリが破損て驚いた」（原文ママ）。わけのわからん高齢者に無用なストレスを与えています。 大体レジストリーとか言って、それの意味が正しく分かる一般人がいるか！（怒） ブロードコムに買収された法人向けのシマンテックはひどいことになっているけれど、個人向けのノートンライフロックは大丈夫みたいと思っていたら、こんなことになるとは。 もう、セキュリティ製品を買うのはやめて、Windows に最初からついてくる Microsoft Defender でもいいのかもしれないと思う今日この頃です。そのほうが安定してるし、こういう余計な問題も起きないし。 2022/9/1 追記　Defenderに切り替えてみました。 さらばノートン 2022/01/13 追記 悩んでいる方がいらっしゃるようなのでこのメッセージの解説をしておこうかと思います。 レジストリーとは Windows や 各種アプリ（ソフト）は設定などをWindowsが管理するデータベース（ファイル）に保存するものが多いです。そのデータベースがレジストリーです。 ソフトをインストールするときや、設定を変更する際などに書き換えられます。 設定等が保存されているため、これが壊れるとWindowsやアプリの挙動に支障をきたす可能性があること自体は確かです。 どうして壊れるのか レジストリーが壊れる原因は色々考えられます。 Windowsやアプリの不具合で作成や更新に失敗した 作成や更新中にWindowsやアプリが異常終了して中途半端になった データを保存する部品（SSDやHDDなどのドラ...
続きを読む

ZIPファイルを開こうとすると、展開を完了できません、と言われる

-
イメージ
 ある日、職場の方から突然ZIPファイルを開けなくなりましたという連絡がありました。エクスプローラーでファイルを開いて、圧縮されている中のファイルをダブルクリックすると、「展開を完了できません。展開先ファイルを作成できませんでした。」というメッセージが表示され、ファイルの中身が表示されません。 7zipからは開くことができるので、Windows 10標準のZIP機能がおかしいらしい。 ネットで検索して一時ファイルを消してみたり、SFC /SCANNOW を実行して見たり、色々やってみたけれど効果なし。 海外サイトで Windows cannot complete the extraction. The destination file could not be created. などで検索してもいい情報が見つかりません。 途方に暮れつつ、ZIPファイルを右クリックして、「すべて展開」を選んでみたところ、エラーコード「0x80004005」が出ました。 それで検索したところ、次のページがヒットしました。 Windows 10でZIPファイルの解凍エラー（0x80004005）が発生したときの対処方法 問題のZIPファイルの作成には7zipを使っていたので、圧縮時の設定を見てみたところ、確かに圧縮方式がデフォルトのdeflateではなく、BZip2になっていました。 もとのdeflateに戻して、再度圧縮して標準ZIP機能で開いたところ、あっさり開くことができるようになりました。なんと。 というわけで、ZIPファイルが開けない場合には、元のツールの圧縮方式を疑ってみる必要があります。取引先から送られてきたものは、頼み込むか、7zip等で開くしかなさそうです。 また、無駄な時間を使ってしまった。 ちなみに、暗号化方式がZipCryptでないとやはりWindows 標準のZIP機能では開けないそうです。
続きを読む

Excel 2019 クエリが原因で日本語入力の一文字目が勝手に確定する

-
イメージ
既存ファイルにシートを追加してセルに文字を入力していったところ、なぜか一文字目が勝手に確定されてしまうという現象に遭遇しました。 一文字目が勝手に確定される セルに、例えば「支払い」と入力しようとすると、shiharaiのsを入れた時点で確定されてしまい、「s いはらい 」のようになってしまいます。 消しては入力やり直しなので異常に入力しづらい。大量に入力する必要がある方は絶望を感じるでしょう。 クエリが原因 新しいファイルでは問題ないのでどうやらファイル依存の問題らしいということがわかりました。 新しいファイルを作って、問題のファイルにあるシートを一つずつ移動していったところ、あるシートを移動したところで新しいファイルでも発生することがわかりました。 それは銀行のサイトにある為替レートのページを参照しているクエリが含まれるシートでした。 そこで、「クエリ」と「確定」で検索したところ、なんと既に先人が原因を特定して レポート してくれていました。 それによると、「データ」メニューの「クエリと接続」グループにある「クエリと接続」をクリックして表示される画面で、クエリが選択されたまま保存されていると発生するということでした。 実際に問題のファイルを開いてみると、確かにクエリが選択された状態になっていて、選択を解除したところ改善しました。こりゃわからんわ。 新しいファイルでクエリを作っても簡単に再現可能です。 PowerQueryはExcel 2016で標準搭載されたようなので、通常はExcel 2016か2019で遭遇する問題だと思います。 回避方法 選択を解除して保存 私がこの問題に遭遇したときは、クエリの選択を解除して保存するだけで解決し、次回開いた時にも再現することはなかったと記憶しています。 ところが、今試してみると、選択解除して保存しても、次回開くとまた選択された状態になっていて、文字入力に支障が出ます。バージョンの違いかと思い、職場のPCでも試してみましたが同様です。私の記憶違いだったのか、その後のバージョンアップで悪化しているのか… クエリと接続画面を表示 現状では、「クエリと接続」画面を表示させると（選択を解除しなくても）現象は収まります。 ファイルを開くときにマクロで自動的に選択を解除する方法も考え...
続きを読む

Excelのテーブルに行や列を挿入する際のエラー

-
イメージ
 Excelのテーブルに行や列を挿入しようとすると、「この操作を実行するとワークシート上のテーブル内でセルが移動されてしまうため、この操作は行われません」というエラーメッセージが表示され、失敗する時があります。 長年このエラーの原因が不明でしたが、あるときどうしても解決する必要があって調べたところ、ようやく原因がわかりました。 現象 図1の場合、上のテーブルに行を追加しようとするとエラーが発生します。 図1 図2の場合は、左側のテーブルに列を追加しようとすると発生します。 図2 テーブルに行や列を追加しようとすると、そのテーブルの範囲だけが拡張されます。 どういう事かというと、図1の上のテーブルの場合、行を挿入すると、B, C, D列のみセルが追加され、A列やE列は変化がありません。 そうすると、下のテーブルは、列1、2、3だけ下にずれることになり、テーブルが壊れてしまいます。そのため、最初のエラーメッセージが表示されるという事です。 図2の場合も同様で、左のテーブルに列を追加しようとすると2行目から5行目までだけが右にシフトしようとします。これもまた右側のテーブルが壊れてしまうため、エラーが起こるというわけです。 回避策 テーブルに行や列を追加するのではなく、シートに対して行全体、列全体を追加すれば、図1の下のテーブルや図2の右のテーブルも全体的に移動するのでエラーは発生しません。 この場合、人間が手動で追加する場合はいいのですが、VBAを使って、テーブルに行や列を追加する場合は、シートに対する行や列の追加が必要になるためやっかいです。 一つのシートにテーブルを複数追加する場合は、このような問題が起こらないようにレイアウトを考える必要があります。 私の場合は、仕方なく、図1のパターンでは、列が少ないテーブルを下に配置することにしました。これだと、上のテーブルを追加しても、下のテーブルは全体的に下にずれるため問題ありません。 そういうレイアウトにできない場合は、仕方がないので、行全体、列全体を追加することになります。
続きを読む

オカムラ家具のOAチェアー、コンテッサを分解清掃

-
イメージ
オカムラ家具の高級オフィスチェアー、コンテッサを使っています。ジウジアーロがデザインしたという当時としては未来的なフォルムでした。 以前のアパートに住んでいた時に買ったのでヘタするともう20年くらい使っているんじゃないかと思います。 当時吉祥寺にあった大塚家具で、アーロンチェアーと座り比べてこれにしました。多分10万円くらいで入手したと思います。 掃除が厄介 コンテッサは座面の下にほこりがたまりやすく、そして取りにくいという問題があります。そのため、ある程度の掃除しかできませんでした。 そして、なにより座面。長年の使用で汚れてしまっているので何とかしたいと思いました。しかし、座面を外すのが容易ではないと思っていました。 そろそろ買い替えようかな、とも思いましたが、今、後継モデルのコンテッサ セコンダを買うと20万円位するみたいです！！ ここはいっちょ気合を入れて掃除してみることにしました。 分解 前はそう簡単には外せないと思いましたが、今回トライしたところ、意外に簡単に外せることがわかりました。使った工具は次の三つです。 左からプラスドライバー、6mm六角レンチ、4mm六角レンチ レンチは背もたれを外すために使います。 座面はなんとプラスドライバーのみで外すことができました。 前の2か所のネジは簡単に外せますが後ろが外せないと思っていました。ドライバーがまっすぐ入らないため。しかし、リクライニングをすればネジが表れて、後ろの2か所も外せるようになりました。 赤丸の部分を裏から外します ネジはかなり固いので、上の写真のように径が大きく、グリップがゴムのドライバーを使うとよいでしょう。粗悪なものを使うとネジの頭がだめになると思います。 ドライバーを真っすぐセットできない時には、座面を前後にスライドしましょう。 レンチはサイズが合えば何でも良いと思います。写真のように長い方が楽に回せると思いますが。 オカムラ家具のコンテッサ用の六角レンチを調達 背もたれを先に取ってしまうと、リクライニングをするのが少々面倒です。先に座面を外した方が良さそうです。 背もたれの上のボルトを外すとき、ヘッドレストがついている場合は落下に注意しましょう。ヘッドレストを押さえながら、外した方が良いと思います。 座面と背もたれを洗ったけれど はずした座面と背もたれを風呂にもっていってシャワーを掛ける...
続きを読む

突然滅茶苦茶遅くなったPCがWindows Updateのキャッシュクリアで復活

-
イメージ
職場のPCが滅茶苦茶遅くなって操作できないというので色々試していった結果Windows Updateのキャッシュクリアで解決しました。 とにかく遅い PCを起動してサインインしてしばらくの間はそれなりに動作するのですが、時間の経過につれて動作が重くなってくる感じです。 特にタスクバーの反応が遅くなります。 タスクマネージャーとかコンピューターの管理を開いても、ずいぶん経って忘れたころに開いてくる感じです。 ひどくなってくると、もう全然反応がありません。 サインアウトや再起動がうまく行かない場合もありました。 ただし、何もいじらないと後からでも動作する場合もありました。 システムの復元も効果なし 12/3に発生して、Windowsの機能「システムの復元」を試みると12/1と、12/3の9時くらいに復元ポイントがありました。9時くらいのものが怪しかったので復元を行いましたが、残念ながら効果がなく、しかも12/1の復元ポイントまで消失しました。 結果的にはプログラムの問題ではなくデータの問題だったため効果がなかったということになります。システムの復元の最後にユーザーのデータには影響を与えませんみたいなメッセージが表示されることからも、そうなのでしょう。 今回の教訓としてはポイントが消えるかもしれないので復元するなら思い切って前の日にさかのぼったほうが良いという事でした。 [Windows 10] システムの復元を実行する方法を教えてください。 　富士通 アンインストールもうまく行かない たまたまシマンテックのライセンス切れが重なったため、シマンテックが原因かと思いアンインストールを試みました。しかし、途中までは進むものの取り消されてしまい削除できません。 ブロードコム（シマンテックを買収）から削除ツールCleanWipeを入手して削除してみましたが、復旧せずシマンテック以外が原因だと思いました。 Cryptographic ServicesとWindows Update タスクマネージャーでCPUの使用率を見ていると、100%で遅いというのではありませんでした。使用率は高くても数十％。低い時は十数％くらいでしょうか。 見ていると周期的にCryptographic ServicesがCPUを使用し、高い時は40%くらいになります。そして、たまにWindows Updateが...
続きを読む

ChatGPTが日本語からVBAのコードを生成できてたまげる

-
イメージ
最近噂のChatGPT。大学受験問題も解ける賢いAIだとか。そこで私も試してみました。 指示は、「単価、数量、金額の列を持つExcelのテーブルを一行ずつ読み、金額を計算して更新するVBAを作りなさい。ListObjectとFor eachを用いなさい」です。 結果は次の通り正しく回答されました。 マジかと思いました。 自然言語からコードが生成されるだけで驚きですが、金額を計算しなさいと言っただけで、単価と数量を乗算しています。 試しに実行 上の画面のテキストをコピペしたものです。 ExcelのVBAでは、ListObjectを用いることで、Excelシート上のテーブルを操作することができます。以下は、単価、数量、金額の列を持つExcelのテーブルを一行ずつ読み、金額を計算して更新するVBAの例です。 Sub UpdateTable()   Dim tbl As ListObject   Dim row As ListRow      ' テーブルを取得します   Set tbl = ActiveSheet.ListObjects("Table1")      ' テーブルの各行を取得します   For Each row In tbl.ListRows     ' 単価と数量から金額を計算します     Dim unitPrice As Double     Dim quantity As Integer     unitPrice = row.Range(1, 1).Value     quantity = row.Range(1, 2).Value     row.Range(1, 3).Value = unitPrice * quantity   Next row End Sub 上記のVBAを実行すると、単価と数量から金額を計算し、テーブル内の金額の列が更新されます。 ListObjectを用いることで、Excelシート上のテーブルを簡単に操作することができるようになります。また、For Eachステートメントを用いることで、テーブル...
続きを読む

Windows セキュリティーのビックリマークが消えない

-
イメージ
ノートン削除でWindowsセキュリティにビックリマーク 実家のノートン360をアンインストールしたところ、タスクトレイにある Windows セキュリティーの盾（シールド）型アイコンに「！」が表示されるようになりました。Windows 11です。 マウスポインターを持っていくと、「Windows セキュリティ - 処置をお勧めします」と表示されます。 ところが、クリックしてセキュリティの概要を開いてみても、問題なさそうです。 ノートンを再インストールするとグリーンのチェックマークになりましたが、アンインストールするとまた黄色のビックリマークになります。 私のPCはアンインストールしても問題なかったのでPC次第なのでしょう。 解決方法 実家のPCは次の方法で解決しました。 Windowsのスタートボタンを押します。（左の四角） 「設定」を開きます。 「プライバシーとセキュリティ」を選び、「Windowsセキュリティ」をクリックします。 「アプリとブラウザーの制御」をクリックします。 「評価ベースの保護」が、有効になっていなかったので有効にして、保護設定をすべて有効にしました。 有効後 これで盾アイコンのビックリマークは消えました。 Web閲覧時に危険 SmartScreen（Web閲覧が保護）が有効になっていなかった可能性があるので、これは確認してよかったです。 それにしても、タスクバーのアイコンから開いたWindowsセキュリティの画面に「アプリとブラウザーの制御」が表示されていないのはバグではないかと思います。以前は出ていたような気がします。 2022/10/9 追記 今、タスクバーの盾アイコンをクリックしたら、「アプリとブラウザコントロール」が表示されるようになっていました。やはりなにかのバグだったのでしょう。 Windows 11 は22H2にアップデート済みです。 2022/11/26 追記 別件で知人のPCのメンテナンスを行ったところ、この現象が発生していたので、早速、上の手順で解消しました。 ESETがインストールされていましたが、期限切れだったのでアンインストールしてDefenderに切り替えました。アンインストールによって生じたのか、元々こうだったのか記憶があいまいです。 Windows 11 は22H2になっていませんでした。 スマートアプリコン...
続きを読む

Power Automate Desktopでブラウザでダウンロードしたファイルを処理する

-
イメージ
Power Automate Desktopを使って自動化する作業の一つはWebサービスだと思います。例えば私は銀行の明細照会や送金等の自動化を試みています。 そういう作業をしていて必要になって来るのがダウンロードしたファイルの処理です。例えば口座明細ファイルを保存するとか請求書を印刷するとかです。 ダウンロードされたファイル名がわかっているのであれば簡単ですが、実際には毎回違うなんだかよくわからない暗号コードのようなファイル名が付けられて落ちてくるという事は結構あります。 ファイル名が確定しなければアクションで指定してみようがないので困ります。今回はそういうファイルの処理方法について書いてみたいと思います。 画像はクリックすると拡大できます。 ダウンロードアクションを使用する Power Automate Desktopにはそのものズバリの「Webからダウンロードします」や「Webページのダウンロードリンクをクリックします」が用意されています。 しかし、残念ながらこれはChromeではつかえません。実行するとエラーが発生し「Chrome を使用したファイルのダウンロードはサポートされていません。オートメーション ブラウザーの使用を検討してください」と言われてしまいます。 そうなんだ、では、とEdgeやIE（Internet Explorer）を指定しても同様です。オートメーションブラウザーってなんなのと思ったら、IEの起動モードの一つでした。 それではと、オートメーションブラウザーを使ってみるとオートメーション用にすべてを削ぎ落した画面が表示され、これでは動かないサイトがありました。 また、IEのサポート終了が来年2022年6月に迫っているというのもひっかかります。 ダウンロードフォルダーを空にする ではどうするかと検索してみると、次のページではダウンロードする前にダウンロードフォルダーをクリアするという荒業を使っている方がいます。 Power Automate Desktop：ファイル名がわからないファイルをコピーする方法 いやこれ、私なんかはダウンロードフォルダーをデスクトップに設定しているので絶対に使えない方法です。 ブラウザのダウンロードフォルダーを一時的に作ったフォルダーに変更して元に戻すなんて言う方法も考えられますが、処理途中でエラーが発生するとそのま...
続きを読む

Teamsのチャットで音声通話をするとすぐに切れてしまう

-
イメージ
Teamsのチャットで同僚と音声通話をすると、相手につながるとすぐに切れてしまう時があります。 大概はこれで直ります これまでは次の方法のいずれかで直っていました。 アプリをアップデートする サインインし直す アプリを再インストール ローカルネットワークへのアクセス許可 今回は、上記対策を試しても直らないiPhoneがありました。 通話する際に一瞬チラッと次の画面が見えます。 そこで、設定を押して、「ローカルネットワーク」を許可しました。（iPhoneの設定からTeamsを選んでも変更できます） これで、通話が切れなくなりました。 アプリインストール時に許可を求められたような気がします。その際に許可をしていないとこうなってしまうのでしょう。 Wi-Fiを使うと切れる 別のユーザーから問い合わせがあり、上記対策を行っても通話すると切れる状態に。しかも、私からかけると現在通話ができない状態ですと言われてしまいます。 このケースでは、iPhoneもPCも両方ダメでした。 そこで、チャットの音声通話ではなく、Teams電話を使って電話にかけてもらったところ、これは通話ができました。 もしやと思い、iPhoneのWi-Fiをオフにして音声通話を試してもらったところ、今度は通話ができました。どうやら、ユーザー自宅のWi-Fiを通じて通信するとだめなようです。 こちらは現在調査中ですが、もしかしたらTeamsの音声通話にUPnPが必要で、問題のネットではUPnPがオフなのかもしれません。それか、インターネットサービスプロバイダー側に問題があるのか。
続きを読む