Appleが新型iPhoneを発表し、11月中旬にはArmベースのMacBookも披露する予定のようだ。近いうちに、次のようなクリックベイトの見出しが見られるようになるだろう。
「iPhone 12はIntelベースのMacBookよりも高速です。」
「最新の iPhone は最速の Windows ウルトラブックよりも高速です。」
「ArmベースのMacBookはx86ベースのMacBookの2倍の速度」
もちろん、スマートフォンやノートパソコンのパフォーマンスは重要ですが、状況も重要です。だからこそ、UL Futuremarkの新しい3DMark Wild Lifeベンチマークの仕組みを理解することが重要です。クロスプラットフォームテストとして謳われているWild Lifeは、Android、iOS、Windowsで実行できます。今すぐ無料でダウンロードして、スマートフォンやタブレットで実行できます。Windows版Advanced Editionをお持ちの方は、UL、Steam、またはGreen Man Gamingストアから無料アップデートとして入手できます。
ULは3DMark Wild Lifeの機能について非常にオープンにしており、テストの詳細と実行方法を公開しています。これはWindows上で「軽量ノートPCとタブレット」向けのグラフィックテストを目的としており、Vulkan APIを使用しています。Android版もVulkan APIで実行され、iOS版はAppleのMetal APIを使用しています。

このテストでは、ゲームを内部的に2560×1440でレンダリングし、その後ディスプレイ解像度に合わせてスケーリングする標準モードを採用しています。デバイス全体を評価する場合、ULは標準モードでの実行を推奨しています。
実際のグラフィックチップを比較する場合、ULはUnlimitedモードの使用を推奨しています。このモードでは、ディスプレイのスケーリング、垂直同期、オペレーティングシステムの影響を受けずに、正確に同じ数のフレームをレンダリングします。
「Wild Life のグラフィックテストは、ジオメトリ、ライト、ポストプロセスエフェクトの量が変化する複数のシーンで構成されています。テストの基盤となるのは、クラスターライトカリングを備えたディファードレンダラーです」と UL のドキュメントには記載されています。「ポストプロセスエフェクトには、ブルーム、熱歪み、ボリュームイルミネーション、被写界深度が含まれます。」
上記リンクのULのドキュメントにはさらに多くの情報が記載されていますが、ここで知りたいのはWindowsノートPCとiPhoneの両方でWild Life Unlimitedを実行した結果です。A14 Bionicを搭載した最新のiPhone 12は手元にありませんが、姉妹サイトであるMacWorld.comから提供された数値はあります。そして、そう、これはiPhone 11 Pro MaxがIntelのUHD620グラフィックス、IntelのIris Plusグラフィックス、そしてさらに驚くべきことにRyzen 7 4800Uに搭載されたAMD Radeonグラフィックスを凌駕しているというデータです。

ベンチマークで嘘をつく方法
上記のベンチマークチャートは、一部の人がインターネットにアクセスして「iPhone 11 Pro MaxはRyzenよりも速い!」と断言するのに十分です。
では、なぜA13 Bionicを搭載したiPhone 11 Pro MaxがそれらのPCに勝っているのでしょうか?正直なところ、Intelの古めかしいUHDグラフィックスがこれほど簡単に軽視されても驚きません。もうとっくに時代遅れになっているのですから。もしAppleがIntelとの決裂の理由としてUHDだけを挙げたとしたら、私たちはきっと理解し、おそらくAppleにカモミールティーを差し出し、決裂について愚痴をこぼしたでしょう。「なるほど、ひどい話ですね」
でも、IntelのIris PlusとAMD Radeon?iPhoneとほぼ同点?なぜ?
理由は数多くあります。まず、3DMark Wild LifeはVulkan API上で動作する点です。PCでは、ゲームの大部分は依然としてMicrosoftのDirectXをベースにしています。DirectXは収益源であるため、ドライバの最適化の大部分はDirectXに注力しています。
二つ目の理由は、Appleが一つの指輪を作ったサウロンのように、ArmベースのAシリーズチップに計り知れないほどのリソースと財宝を注ぎ込んできたことです。確かに高速であることは間違いありませんし、WindowsのVulkanとは異なり、AppleのMetalパフォーマンスが最優先であることは間違いありません。APIとハードウェアを所有することで得られるものであり、ゲーム機で見られるものと似ています。
もちろん、結果を責任を持って表現するには、「iPhone は PC より速い!」といった煽り文句の見出しを並べ立てるのではなく、より多くのコンテキストを含める必要があります。そこで私たちは幸運にも、Intel の新しい第 11 世代 Tiger Lake Core i7-1165G7 を搭載した量産型の Asus ZenBook Flip でもテストを実行することができました。

一番上の青い線は、もちろんIntelのTiger LakeチップとIris Xeです。薄型軽量のZenbook Flipに搭載されているCore i7-1167G7も最速ではありません。「iPhoneはRyzenやIce Lakeよりも速い!」という主張が、すぐに「Intel Iris XeはA13 Bionicよりも62%高速なグラフィックスを実現!」に切り替わっていることに注目してください。
また、グラフィックス パフォーマンスを単独で測定するように設計された合成テストは、CPU パフォーマンスが加わることで複雑になる実際のゲームと同じではないことも認識する必要があります。
例えば、Ryzen 7 4800UとRadeonのパフォーマンスを見ると、第11世代Tiger Lakeチップと比べると劣っているように思えるかもしれません。しかし、実際のゲームパフォーマンスを見るとそうではありません。例えば、『Deus Ex: Mankind Divided』のパフォーマンスを見ると、Radeonグラフィックスを搭載したRyzen 7 4800Uは依然として劣っていますが、Intelの新しい第11世代Tiger LakeとIris Xeグラフィックスにははるかに近づいています。Ryzen 7 4800Uは実際のゲーム負荷では非常に優れていますが、IntelのIris Xeの方が優れています。

クロスプラットフォームベンチマークが難しい理由
難しいのは、クロスプラットフォームのベンチマーク結果を適用しようとすると、理論が実際の使用に衝突してしまうことです。
例えば、新型iPhone 12の3DMark Wild Lifeスコアが高いからといって、 iOS版のFortniteがSamsung Galaxy Note 20 AndroidスマートフォンやLenovo Slim 7 Windowsノートパソコンと比べてどれだけ高速に動作するかは分かりません。iOS版やAndroid版の公式 Fortniteはもう存在しないからです。また、3DMark Wild LifeではSteamゲームをiOSやAndroidでどれだけ速く動作させるかは分かりません。SteamゲームはiOSやAndroidで動作させることができないからです。
Primate LabのGeekbenchの結果がスマートフォン、タブレット、ノートパソコンに適用され、Xの方が高速だと宣伝されるのも目にするでしょう。しかし、新しいArmベースのMacBookでWindowsアプリが使えなかったり、WindowsでmacOSアプリが使えなかったりしたら、Geekbenchのスコアはどれほど意味があるでしょうか?ほとんど意味がありません。
派手な見出しよりも価値があるのは、そのピカピカの新デバイスが、あなたが行っているタスク、ゲーム、またはアプリケーションを、現在使用している古いデバイスでどれだけ速く実行できるかというベンチマークです。Wild LifeでiPhone 12とiPhone 8を比較するのは有益です。Wild LifeでPixel 5とNote Ultra 20を比較するのも有益です。ArmベースのMacBookが登場したら、IntelベースのMacBookとArmベースのMacBookをWild Lifeで比較するのも有益かもしれません。いずれにせよ、両方のMacBookがWild LifeのMacBookよりも、PhotoshopやLight Room、ExcelやChromeなどの実際のタスクを実行しているのを見たいです。
今後数週間、数ヶ月間、テクノロジー系サイトがデータベースの結果を精査したり、クロスプラットフォームのベンチマークを使った予備テストを実施したりして、一方が勝者、もう一方が敗者と騒々しい見出しを連発する中、これらの違いを念頭に置いておきましょう。楽しいゲームであることは承知していますが、限界はあります。
例えば、下のグラフでは、一番上の2本の緑のバーは、ディスクリートGPUを搭載した2台のノートパソコンでWild Life Unlimitedを実行した結果を示しています。1台は4ポンドのゲーミングノートパソコン、もう1台は2.8ポンドのコンテンツ制作用ノートパソコンです。
確かに、この結果は馬鹿げていると言う人もいるでしょう。なぜなら、4ポンドのゲーミングノートPCとスマートフォンを比較することはできないからです。私たちも同意見です。スマートフォンと2.5ポンドのノートPCを比較するのも同様に馬鹿げていると思います。なぜなら、使い方が全く同じではないからです。
