Copilot Studio の Computer Use を使ってみた

こんにちは、オルターブースの中島です！
9月の終わりには暑い日々が続いておりましたが、私の住んでいる地域では空気が涼しくなってきました🎐
30度を超える日がまだあると言われていますが、お彼岸になるとちゃんと彼岸花が咲いているので、自然はすごいなと実感しました。

前回のブログに引き続き Copilot Studio のお話になります！
前回は Microsoft Copilot Studio で MCP(モデルコンテキストプロトコル)を使ったデモのお話をしました。
前回のブログはこちら👇

aadojo.alterbooth.com

Copilot Studio の Computer Use について
- はじめに
Computer Use デモの内容
Computer Use の設定とデモ
まとめ

Copilot Studio の Computer Use について

今回は Copilot Studio で Computer Use を使ってみたので、ご紹介いたします！

はじめに

Computer Use のメリット注意点についてご紹介します。
💡 メリット

自然言語だけで自動化が可能で、スクリプトが不要
UIの変更に強く、保守コストが低い
非エンジニアでも簡単に使える
毎日のルーティン作業の自動化に最適

⚠️注意点

現在は米国リージョン限定のプレビュー提供
スクレイピングに該当するため、個人利用以外は注意が必要

Computer Use機能の公式ドキュメントはこちら👇

learn.microsoft.com

Computer Use は現在米国限定のプレビュー提供となっています。(※本ブログ執筆時点)
米国リージョンの環境があり、Copilot Studio の設定でオーケストレーションが有効設定ができる方は作成できます。
詳しくは Computer Use の要求事項👇をご覧ください

https://learn.microsoft.com/ja-jp/microsoft-copilot-studio/computer-use#requirements

Computer Use とは Copilot Studio の新機能で、エージェントが Windows コンピューター上の Web アプリやデスクトップアプリを「人間のように」操作・自動化できるツールです。
似ているサービスに RPA (Robotic Process Automate )がありますが、少し違いがあります。

RPA は基本は画面座標や UI 要素指定を設定する必要があり、複雑な操作の場合はスクリプト記述が必要です。そのため、アイコンやショートカットの位置が変わったり、ボタンのラベルやウィンドウの構造が変わると RPA はその要素を見つけられなくなるので動作しません。
「画面やUIが変わらないこと」が動作する前提条件となりますので、 RPA は運用コストが高くなりがちです。

その点Computer Use は、自然言語で自動化を行うためスクリプトを書かなくても複雑な動作が可能になり、座標やUI要素指定ではないため画面レイアウトやUIの変化にAIが自動適応する柔軟性があります。

Computer Use デモの内容

今回は Computer Use の簡単なデモを行いました。
弊社八女サテライトで勤務しているため、よく八女市の情報を公式ページで確認しています。
定期的に情報を取得したいのですが、エージェントに聞いたらすぐに答えてくれたり、定期的に教えてくれるようにすると便利なのではないかと考え、このエージェントを作成しています。
このエージェントでは「八女市の公式ホームページから八女市の最新のイベントを5件取得して、イベント名、開催日、場所、概要を紹介してください」という内容の指示を出しています。

このデモの結果、エージェントに「八女市のイベントを教えて」と質問をすると下記のキャプチャのような返答が返ってきました。

Computer Use の注意点として、この機能はスクレイピングになりますので個人利用以外の際はご注意ください。

Computer Use の設定とデモ

Copilot Studio でエージェントを開き、概要タブで＋ツールを追加するをクリックし、＋新しいツールをクリックします。コンピューター操作がでますので、「コンピューター操作」を選択します。

Copilot StudioツールにComputer Useを追加

Copilot StudioツールにComputer Useを追加②
手順にこの機能で実行する処理を自然言語で入力します。入力したら「追加と構成」をクリックします。

Copilot Studio_Computer Use の設定
追加されると詳細設定画面に遷移します。名前、説明を入力し手順にある「テスト」をクリックし、この Computer Useのテストを行います。

Copilot Studio_Computer Use テストの実行

Copilot Studio_Computer Use テスト画面

　テスト完了になったら、「テストを終了する」をクリックし、テストを終わらせます。手順通りに実行でき、想定通りに動いたことを確認したら右上の「保存」をクリックします。
エージェントの指示にこの Computer Use の名前を使って追加の指示を行ってください。その後エージェントのテストを実行することをお勧めします。

Copilot Studio_エージェントのテスト