画像: マイクロソフト
「Click To Do」は、Microsoftの最新のAI機能であり、Copilot+ PCのセールスポイントです。プライバシーに関する批判が相次ぎ、Windows Recallが後回しにされてきた今、Microsoftは新たな局面を迎えています。今回は、状況に応じたAIアクションにアクセスするための特別なショートカットが中心となります。
Click To Do を使うには、キーボードの Windows キーを押しながら、マウスの左ボタンを 1 回クリックするだけです。キーボードショートカットを使用する場合は、 Windows キー + Q キーを押すこともできます。(何も起こらない場合は、Copilot+ 搭載 PC ではないことを意味します。)
Click To Do を有効にすると、画面の周囲にアウトラインが表示され、画面上のすべてのテキストと画像がハイライト表示され、選択可能になり、操作を実行できるようになります。さらに、Microsoft はこのメニューにさらに多くのアクションを追加し続けています。
Click To DoはWindows Recallから始まりました
面白いことに、Click To DoはWindows Recallに組み込まれた機能として誕生しました。Recallが自動的に撮影した画面のスナップショットに表示されたテキストに対して操作を実行できる機能です。しかし、MicrosoftがRecallから方向転換した後、Click To Doは独立した機能となりました。
プライバシーに関しては、Click To Do は Recall の逆のような感じがします。バックグラウンドでは何も行われず、使用するかどうかを選択する必要があります。
クリス・ホフマン / ファウンドリー
Click To Do を起動すると、スクリーンショットが撮られ、それを操作できるようになります。「テキストを要約する」などのアクションを選択すると、すべての処理が PC のニューラル プロセッシング ユニットによって PC 上で実行されます。
ほとんどの操作はPC上で実行されますが、「Webを検索」、「Bingでビジュアル検索」、「Copilotに質問」などの一部の操作では、データがMicrosoftのサーバーに送信され、処理されます。幸いなことに、これらの操作を意図的に使用しない限り、 PCからデータが送信されることはありません。
Click To Doを使用すると、AIモデルにテキストを入力できます
Click To Doは光学文字認識（OCR）技術を使用して現在の画面をスキャンし、テキストを選択可能にします。基本的には、スクリーンショットを撮り、その中の要素を操作できるようにするものです。
例えば、メールアドレスを選択すると、「Click To Do」メニューに「メールを送信」が表示され、メールを作成できます。ウェブサイトのURLを選択すると、「ウェブサイトを開く」を選択して、デフォルトのウェブブラウザでウェブサイトを開くことができます。（ありがたいことに、必ずしもMicrosoft Edgeが使用されるわけではありません！）
10語以上のテキストを選択すると、さらに面白いことが起こります。Copilot+ PCのNPUで動作するPhi Silica言語モデルを活用した、テキストの要約、箇条書きの作成、異なるトーンでのテキストの書き換えなど、様々なアクションを実行できます。
クリス・ホフマン / ファウンドリー
これは、MicrosoftがCopilot+ PCにNPUベースのテキストアクションを統合する最初の試みの一つです。スクリーンショットに基づいているため、言語モデルに一度に送信できるテキストの量には限りがあります。
これにより、エクスペリエンスが向上するはずです。正直なところ、Windows PCで実行されるローカル言語モデルは、ChatGPTのようなクラウドベースの大規模言語モデルほど強力ではありません。（ブラウザでチャットボットアプリを使用している場合、なぜPC上で完全に実行される、より劣ったアプリをわざわざ使用する必要があるのか疑問に思うでしょう。これは、Copilot+ PCの多くのローカルAI機能に共通する根本的な問題です。）
クリス・ホフマン / ファウンドリー
また、選択したテキストを Microsoft の Copilot AI チャットボットに送信する「Ask Copilot」アクションや、Microsoft の AI を使用して Word 文書の作業を開始する「Draft with Copilot in Word」アクションもあります。
ここでもクラウド上のチャットボットに情報を送信できますが、Microsoft Copilot（個人ユーザー向け）またはMicrosoft 365 Copilot（企業向け）をご利用の場合に限ります。確かに、ちょっと分かりにくいかもしれませんね。
Click To DoはAI画像ツールも公開
Click To Doはテキスト操作だけでなく、画像操作にも対応しています。MicrosoftがClick To Doに込めたもう一つの目標は、まさにこの点から明らかになります。画像をクリックすると、「フォトで背景をぼかす」「フォトでオブジェクトを消す」「ペイントで背景を削除する」といった操作を選択できます。
クリス・ホフマン / ファウンドリー
これらはすべてAIを活用した画像アクションで、通常はWindows内の様々なアプリケーションに分散して存在しますが、MicrosoftはClick To Doインターフェースを通じて公開しています。また、「Ask Copilot」アクションも用意されており、MicrosoftのCopilot AIに画像を送信して、その画像について会話を始めることができます。
とはいえ、あの素晴らしい超解像度機能にはまだショートカットがありません。ショートカットがあれば本当に便利ですよね！
必要に応じてClick To Doを無効にすることができます
何らかの理由で Click To Do が必要ない場合 (正直に言うと、「Windows キーを押しながらクリック」のショートカットは、一部の PC ゲームをプレイするときに邪魔になることがあります)、それをオフにすることができます。
クリス・ホフマン / ファウンドリー
設定するには、「設定」>「プライバシーとセキュリティ」>「Click to Do」に進みます。ここでスイッチを切り替えてオフにしてください。（Click to Doはデフォルトで有効になっていますが、Copilot+ PCでのみ利用可能なので、一般的なWindows 11 PCでは表示されません。）
今後何が起こるのでしょうか?
MicrosoftはClick To Doに次々と機能追加に注力してきました。例えば、Click To DoにはまもなくCopilotプロンプトボックスが統合され、テキストや画像を選択してプロンプトを入力し、「Ask Copilot」をクリックすると、選択したコンテンツと入力したプロンプトがCopilotに送信されます。
また、テキストと画像の組み合わせを選択したり、デバイス上の大規模言語モデルを使って画像を説明したり、Microsoft Reaching Coach アプリにテキストを送信したりできるようになります。Click To Do はまもなく画面上の表を検出し、Microsoft Excel に直接送信できるようになります。
こうした機能の組み合わせは、Microsoft が Click To Do に求めているもの、「Windows 内のどこからでもワンクリックで AI にアクセスできる」アクションを示しています。
Microsoft はまだ Click To Do にファイル統合を追加していませんが、ファイルを右クリックして Copilot やその他の AI ツールに送信するための多くのアクションが、ファイル エクスプローラーのコンテキスト メニューに表示されます。
私の場合は、コピー＆ペーストするほうがいいですね
Copilot+のPC機能を中途半端に使い続けていたため、長期的な可能性を秘めた機能に出会えて嬉しいです。しかし、高性能なデスクトップPCから離れている時はSurface Laptopを使うものの、正直に言うと、Click To DoはRecallと同じようにほとんど使っていません。
Click To Doは面白いアイデアですが、私は今でもテキストや画像をコピー＆ペーストしています。AIツールの有無に関わらず、テキストや画像はどのアプリにもコピー＆ペーストできます。Windows 11に内蔵されているSnipping Toolは、スクリーンショットからテキストを抽出したり、画像をキャプチャして他のアプリなどに送るのに既に非常に便利です。
将来的には変わるかもしれない。変わらないかもしれない。しかし、一つ確かなのは、MicrosoftがRecallからClick To Doへと移行したのは賢明な判断であり、もしそれが最終的に成果につながるなら、大きな成果となるだろうということだ。
さらに読む： Copilot+ PC を購入すべきか？知っておくべきこと
著者: クリス・ホフマン、PCWorld寄稿者
クリス・ホフマンは、Windows PCのヒント、コツ、実験などを毎週1万以上のメール受信ボックスに届けるニュースレター「The Windows Readme」の著者です。また、How-To Geekの元編集長であり、ニューヨーク・タイムズ、PCMag、リーダーズ・ダイジェストなどの出版物に寄稿しているベテラン技術ジャーナリストでもあります。
