おそらく、すでに AI PC をお持ちでしょう。
ここ数ヶ月、IntelとPCメーカーはAMD、Intel、Qualcommと連携し、AI搭載PCの普及を声高に訴えてきました。「AI」が新たな「メタバース」であることは周知の事実です。数年前から誰もが話題にしていたあの「メタバース」です。経営陣も投資家も、AIを活用して売上と株価を押し上げたいと考えているのです。
AIは、IntelがオンチップAIの代名詞と位置付けているIntelのCore Ultraのようなチップに搭載されているNPUに依存しているのは事実です。デスクトップ向けNPU搭載でIntelに先んじたAMDのRyzen 8000シリーズや、QualcommのSnapdragon X Eliteも同様です。
ただ、Core Ultraに現在搭載されている統合NPU（Meteor Lake、そしてLunar Lakeも控えている）は、AI計算において、期待されているほど大きな役割を果たしていないという点が問題です。むしろ、計算能力のより伝統的な役割（CPU、特にGPU）の方が、タスクに貢献しています。
いくつかの点に留意することが重要です。まず、AIのパフォーマンスを実際にベンチマークすることは、まさに誰もが取り組んでいる課題です。「AI」は、Stable Diffusionを用いた画像生成、大規模言語モデル（LLM）、（クラウドベースの）Microsoft CopilotやGoogle Bardによって普及したチャットボット、そしてAdobe PremiereやLightroomにおけるAIの改良といった、アプリケーション固有の機能強化など、かなり多様なタスクで構成されています。LLMだけでも、フレームワーク、モデル、量子化など、PC上でのチャットボットの動作に影響を与える数多くの変数と、それらの変動ペースを考慮すると、勝者を選ぶのは非常に困難です。しかも、それは一時的なものにとどまりません。
しかし、次の点は、ある程度確信を持って言えることです。ベンチマークは、可能な限り多くの変数を排除した場合に最も効果的に機能します。そして、パズルの小さなピースの一つを使って、それが実現できます。つまり、IntelのCore UltraチップであるMeteor Lakeが実行するAI計算に、CPU、GPU、NPUがどれだけ貢献しているかということです。
マーク・ハッハマン / IDG
NPUは今のところオンチップAIのエンジンではない。GPUが
Meteor LakeがAIにおいてどれほど優れたパフォーマンスを発揮するかを検証しようとしているわけではありません。しかし、AIにおいてNPUがどれほど重要であるかを現実的に検証することは可能です。
私たちが使用している具体的なテストは、ULのProcyon AI推論ベンチマークです。これは、プロセッサが様々な大規模言語モデルを処理する際の効率性を計算します。具体的には、CPU、GPU、NPUを細かく比較することが可能です。
今回は、CES 2024 の Intel ベンチマーク デー中にテスト用に提供された MSI ラップトップ内で Core Ultra 7 165H をテストしました (時間の多くは Intel の Dan Rogers 氏へのインタビューに費やされましたが、いくつかのテストを行うことができました)。Procyon はプロセッサ上で LLM を実行し、パフォーマンス、レイテンシなどに基づいてスコアを計算します。
早速ですが、数字は以下のとおりです。
- プロキオン（OpenVINO）NPU：356
- プロキオン（OpenVINO）GPU：552
- プロキオン（OpenVINO）：CPU：196
Procyonのテストでは、いくつかの点が証明されました。まず、NPUは確かに効果を発揮します。CPU内の他のパフォーマンスコアや効率コアと比較すると、NPUは単体で82%も優れたパフォーマンスを発揮します。しかし、GPUのAIパフォーマンスはCPUの182%で、NPUを55%も上回ります。
マーク・ハッハマン / IDG
言い換えれば、AI を重視するなら、まずは大容量で強力なグラフィック カードまたは GPU を購入してください。
しかし、2つ目のポイントはそれほど明白ではありません。専用のAIロジックブロックを必要とせずに、CPUまたはGPUでAIアプリケーションを実行できます。Procyonのテストで実証されたのは、一部のブロックが他のブロックよりも効果的であるということだけです。
IntelはNPUの方が効率が高いと主張しています。現実世界では、「効率」とはチップメーカーにとって「長いバッテリー駆動時間」を意味する言葉です。同時に、IntelはCPU、GPU、NPUが連携して動作できることを強調しようとしています。
インテル
この場合、NPUの効率は、長時間稼働し、おそらくバッテリー駆動するAIアプリケーションに相当します。その好例は、ホテルの部屋やカンファレンスセンター（まるでCES！）の奥まった場所から長時間のMicrosoft Teams通話を行う際に、AIがノイズやバックグラウンドアクティビティをフィルタリングする様子です。
通常、Stable DiffusionのようなAIアートアプリケーションは、当初はGPUのパワーと大量のVRAMを活用してローカルAIアートを生成することでローンチされました。しかし、時が経つにつれ、AIアプリケーションはCPUを含む、より低性能な構成でも動作するように進化しました。これはよくある比喩ですが、Crysisのようなグラフィックを多用するゲームを統合ハードウェアでスムーズに動作させることはできませんが、動作はするはずです。ただし、非常に遅いというだけです。AI LLM / チャットボットも同様で、応答について長い時間「考え」、その後非常にゆっくりと「入力」します。GPUで実行できるLLMはパフォーマンスが向上し、クラウドベースのソリューションははるかに高速になります。
しかし、AIは進化する
興味深いことに、ULのProcyonアプリは（この記事の執筆時点では）AMD Ryzen AI搭載Ryzen 7040のCPUとGPUは認識しますが、 NPUは認識しません。AIはまだ黎明期にあり、チップ自体の基本機能さえも、それらを利用するために設計されたアプリケーションによって認識されていません。これはテストをさらに複雑にするだけです。
しかし重要なのは、PCでAIを実行するのにNPUは必要ないということです。特にゲーミングノートPCやデスクトップPCを既にお持ちの場合はなおさらです。AMD、Intel、QualcommのNPUがあれば便利ですが、必須というわけではありません。
マーク・ハッハマン / IDG
しかし、必ずしもこの調子が続くとは限りません。Intelは、今年末に発売予定のLunar LakeチップのNPUの性能がNPUの3倍になると約束しています。CPUやGPUの性能については何も言及していません。時間の経過とともに、様々なPCチップのNPUの性能が向上し、AI性能がチップの他の部分と比べて著しく不均衡になる可能性は十分にあります。もしそうでない場合、多くのAIアクセラレータチップのスタートアップ企業が、AI界の3Dfxを目指しています。
とはいえ、2024年を迎えるにあたり、今は深呼吸をしましょう。新しいAI搭載PCは重要ですが、新しいNPUも重要です。しかし、どれだけ大々的に宣伝されても、消費者はチップメーカーほどAIがクラウドではなくPC上で動作していることを気にしないでしょう。そして、気にする人にとって、NPUは全体的なソリューションの一部に過ぎません。
