多くの人が、Microsoftが最終的にWindows PC上で動作するCopilotのバージョンを提供するだろうと考えています。Microsoftは、ローカルデバイスで動作するように特別に設計された新しいAIモデル（LLM）で、その可能性を示唆したのかもしれません。
マイクロソフトは月曜日、38億パラメータの言語モデル「Phi-3-mini」を発表しました。同社によれば、このモデルはやや古いChatGPT 3.5やMixtral 8x7Bに匹敵する性能を持つとのことです。論文のタイトルは「Phi-3技術レポート：スマートフォン上でローカルに動作する高性能言語モデル」で、これはマイクロソフトがPC上で直接実行できるLLMを開発したことを如実に示しています。
マイクロソフトは、Phi-3-mini が PC 上でローカルに動作する次世代の Copilot になるとは明言していません。しかし、Phi-3-mini が Copilot の次期バージョンとなり、PC 上でローカルに動作するようになる可能性は十分にあり、その性能についてもある程度の見通しは立っています。
1.) ローカルAIの重要性
これはよくある議論です。Bing、Google Gemini、Claude、Copilot に検索リクエストを送信すると、その情報はクラウドに保存されます。これは、恥ずかしい情報（「このイボは悪いのか？」）や機密情報（「メールを盗んだら問題になるのか？」）である可能性もありますし、銀行取引明細書リストのように絶対に漏洩したくない情報である可能性もあります。
企業はCopilotのようなAIを介して自社データに質問したいと考えていますが、現時点ではCopilotのオンプレミス版は存在しません。現時点では、Copilotのローカル版はほぼ必須の選択肢となっています。
マーク・ハッハマン / IDG
2.) Phi-3-miniは小さいので良い
多くのローカルLLMは、必要なファイルを格納するためにPC上で少なくとも8GBのRAMと数ギガバイトのストレージ容量を必要とします。しかも、これはLLMが「量子化」、つまり圧縮されていることを前提としています。Copilotがクラウドで実行されるのには理由があります。それは、MicrosoftのAzureクラウドが、Copilotを収容するために必要なコンピューティング能力とストレージ能力を備えているからです。
これは論文の中で最も重要な一節です。「phi3-miniはサイズが小さいため、4ビットに量子化でき、メモリ使用量はわずか約1.8GBです」と論文には記されています。「私たちは、
A16 Bionicチップを搭載したiPhone 14にphi-3-miniを導入し、デバイス上でネイティブに動作させ、完全にオフラインで動作させることで、量子化モデルをテストしました。その結果、1秒あたり12トークン以上の処理速度を達成しました。」
つまり、1.8GBのメモリを追加したPCなら、ローカル版のCopilotを実行できるということです。これは現状よりもはるかに多くのPCで実行可能で、おそらく8GBのRAMを搭載した旧式のPCも含まれるでしょう。iPhoneで実行できるのであれば、ほとんどのPCでも実行できる可能性が高いでしょう。
LLM はドットマトリックス プリンタのようにデータを吐き出すため、1 秒あたり 12 トークンは 1 秒あたり約 48 文字になります。すばらしいとは言えませんが、悪くもありません。
3.) パフォーマンスも良好だが、良すぎるほどではない
マイクロソフトは依然として、クラウドでCopilotを使い、Copilot Proのようなサブスクリプションに加入するよう人々を誘おうとしています。そして、Phi-3-miniが他のLLMと同等の性能を発揮することを時間をかけてアピールしています。しかし、パラメータ数が少ないということは、AIモデルがより高度なLLMほど多くのことを「知っている」わけではないことを意味します。
Arxiv.org
しかし、マイクロソフトには解決策がある。「このモデルは、過剰な『事実に基づく知識』を蓄積する能力が不足しており、例えばTriviaQA（ベンチマーク）のパフォーマンスが低いことがその一因です」と論文は指摘している。「しかしながら、このような弱点は検索エンジンによる拡張によって解決できると考えています。」
Bingが救助に駆けつけます!
4.) Microsoft Build の 1 か月前です。
Microsoftの開発者カンファレンスは1ヶ月後に開幕します。これにより、Microsoftは5月21日の開幕までに、Phi-3-mini上で動作するCopilotのバージョンを開発者やユーザーにデモンストレーションする時間を確保できます。プロトタイプを作成し、いくつかのクエリをテストするには十分な時間です。
もちろん、Copilotが主役になるでしょう。PCでネイティブに動作するCopilotが登場するでしょうか？以前よりもずっと可能性が高くなっていると思います。
著者: マーク・ハッハマン、PCWorld シニア編集者
マークは過去10年間、PCWorldに寄稿しており、テクノロジー分野で30年の経験があります。PCWorldだけでも3,500本以上の記事を執筆しており、PCマイクロプロセッサ、周辺機器、Microsoft Windowsなど、幅広いトピックを扱っています。PC Magazine、Byte、eWEEK、Popular Science、Electronic Buyers' Newsなどの出版物にも寄稿しており、Electronic Buyers' Newsでは速報ニュースでジェシー・H・ニール賞を受賞しました。最近、オフィスのスペースが足りなくなったため、数十台のThunderboltドックとUSB-Cハブを寄贈しました。
