テスト：iPad Proがノートパソコンほど速くない理由

印刷を中止せよ。PCは死に、Macも死に絶えた。よりパワフルなiPad Proに殺されたのだ。少なくとも、Appleの最新iPad Proが発売された後、一部のテックライターはそう宣言した。

しかし、iPad Proは本当にPCキラーなのでしょうか？何日もかけてあれこれ試してみた結果、私は自信を持って「絶対にノー」と答えます。決してそんなことはありません。

炎上騒ぎになる前に言っておきたいのは、Macworldのレビューが示す通り、iPad Proは驚くほど高速だということです。Appleは今回もハードウェア、ソフトウェア、そして事実上無限のリソースを駆使し、iPad Pro向けに驚くほど高速なチップを開発しました。しかし、先走りすぎないようにしましょう。私が行った一連のテストの結果、いくつかの点でそれほど速くないことが分かりました。

ここに至った経緯

「Intel とその CPU は絶望的だ」という話の始まりは、iPad Pro の A9X SoC が Intel の旧型の Haswell チップや最新の Skylake CPU をも圧倒していることを示すベンチマークだった。

これらの結論の多くは、人気の高いマルチプラットフォームベンチマーク「Geek Bench 3」のパフォーマンス結果、そしてMozillaのKrakenやGoogleのOctane 2.0といったブラウザベースのベンチマークに基づいていました。こうした限定的なデータセットから、x86の終焉が近いと熱狂するファンがいました。

ハードウェアテストが好きな方なら、最後の2つのテストの弱点をご存知でしょう。ブラウザテストはCPU/SoCのテストではなく、チップとその基盤となるブラウザとOSの最適化のテストです。iPad Proでは、Appleが高度に最適化されたレンダリングエンジンを採用しているため、ブラウザはほぼ同じです。PCでは、ブラウザの選択が重要です。ブラウザベースのベンチマークは、PCでも最適なツールとは言えません。

Geek Bench 3は違います。Geek Bench 3の開発者は、チップの性能に有効だと考えるアルゴリズムを用いて、CPUを可能な限り分離したクロスプラットフォームテストを作成することを目標としています。下のグラフを見れば、何が人々を騒がせたのかが分かります。

ええ、すごいですね。iPad Proのシングルコア性能（これは、複数のコアを搭載するチップがあるプラットフォーム間で比較する際に便利な指標です）は、Geek Bench 3で測定した最新のミッドレンジCore i5搭載Surface Pro 4のCPUと全く同じ速度です。さらに、はるかに高価なハイエンドSurface BookのCore i7-6600Uにも、驚くほど近い値です。

記録のために：このセクションのテストはほぼすべて、最新のOSとアップデートを適用した状態で、ここ数日間に実行されました。唯一古いOSは、会社支給のWindows 8.1マシン（3.4GHz Core i7-2600搭載）で、面白半分で追加しました。  

あまり重要ではないとは思いますが、マルチコアのGeek Bench 3の結果もご紹介します。iPadのマルチコア性能は、旧型のHaswellベースのSurface Pro 3と同等ですが、新型のSkylakeベースのSurface Pro 4には劣っています。なぜでしょうか？理由は分かりませんが、Intelチップのハイパースレッディングによるリソース管理が影響している可能性があります。だからこそ、シングルコア性能の方が重要だと考えています。

さようなら、インテル

では、これらのデバイスは他のベンチマークではどのように評価されているのでしょうか？まずはBAPCoのTabletMark V3です。Geek Bench 3は、数秒単位の「現実世界」のアルゴリズムを用いて、メーカーがCPUパフォーマンスの正確な測定値と考えるものを作成しようと試みますが、BAPCoのアプローチは実際にはより「現実世界」に近いものです。BAPCoのコンソーシアムは、主にハードウェアメーカーで構成されており、HDRで写真を編集したり、Webを閲覧したり、メールを送信したりするなど、人間の実際の動作をシミュレートするワークロードを、様々なプラットフォームにわたって作成することを目指しました。

Windows、Windows RT、Android、iOSで動作するユニバーサルアプリが存在しないことから、BAPCOは、すべてのプラットフォームで同じインターフェースで同じ機能を実現するカスタムアプリを開発しました。実際、各プラットフォームで動作する様子を見ると、まるで誰かが3つのプラットフォームすべてで同じアプリケーションを使い、同じタスクを実行しているかのようです。 

ベンチマークに関するホワイトペーパーでは、テストに使用されたアプローチに加え、ライブラリ、コンパイラ、APIが公開されています。テストはリアルタイムで実行されるため、デバイスによっては数時間かかる場合があります。iPad Proの性能は以下のとおりです。

TabletMarkは反対する

TabletMark V3では、iPad Proはそれほど脅威には見えないでしょう？2年前のSurface Pro 3に搭載されているIntel Haswell Core i5-4300uでさえ、ここではA9Xをはるかに上回っています。タブレット端末群とそれほど差はありません。x86チップセットで最もパフォーマンスが低かったのは、Atom X7-z8700を搭載した廉価版Surface 3です。Atom、本当に残念です。

このベンチマークには2つのパフォーマンスモジュールがあり、ウェブブラウジングとメールの速度を概観できます。iPad Proの結果は冴えず、Nexus 9とそのTegra K1をわずかに上回る程度でした。 

TabletMark V3は写真と動画のパフォーマンスも測定しており、iPad ProはARM搭載の競合製品やAtom X7-Z8700に対して大きなリードを示しています。しかし、A9Xはチャート上位のCore i5やCore i7搭載デバイス、さらにはCore Mには遠く及びません。

難問なのは、古いチップを搭載したSurface Pro 3とDell Venue 11 Proのパフォーマンスです。Skylake搭載モデルなら勝てるだろうと思っていましたが、BroadwellベースのCore Mと、さらに古いHaswell Core i5も苦戦しています。

私がこれまで実行した他のすべてのテストでは、SkylakeがBroadwellやHaswellよりも大幅にパフォーマンスが向上していることが示されています。これは、チップのクロック速度向上とその他のマイクロアーキテクチャの改良によるものだと考えています。ちなみに、実際にパフォーマンスのポテンシャルがあるテストでは、TabletMark V3を頻繁に使用することはありません。より高速なCPUでも性能が向上せず、他のテストの方がはるかに負荷が高いからです。 

3DMarkとグラフィックパフォーマンス

グラフィックパフォーマンスについては、3DMarkのIce Storm Unlimitedを使用しました。これはiOS、Windows、Androidで動作する人気のテストです。画面解像度に関係なくレンダリングされるため、低グレードのグラフィックパフォーマンスを測定するのに非常に役立ちます。ここで言う低グレードとは、650ドルのGeForce 980 Tiでさえ45fpsまで落ちてしまうアサシン クリード シンジケートではないという意味です。

今回のテストでは、ここで紹介するデバイスはすべて統合グラフィックを採用しています。Surface Bookはクリップボードモードで、GPUは接続解除され、60センチほど離れた場所に設置しました。総合スコアには、ゲームの物理特性とグラフィック性能が反映されています。

AppleはA9Xに多大なリソースを投入し、グラフィック性能を向上しました。その成果は明らかです。3DMarkでは、Nexus 9のNvidia Tegra K1やShield Tabletをわずかに上回ります。しかし、このチャートを詳しく見てみると、A9Xは Dell Venue 11 ProやSurface Pro 3とはまだかなり差があることがわかります。ちなみに、Venue 11 ProのCore Mは、Surface Pro 3のような15ワットのチップではなく、4.5ワットの省電力チップです。

Skylake Core m3のグラフィックコアの改良はさらに印象的です。現在、SkylakeベースのCore m3を搭載したAsus UX305をテストしていますが、3DMarkの総合スコアは51,181で、上記のチャートでは3位にランクインしています。

Android TVで3DMarkを実行できるNvidia Shield TVを入手したので、参考までにTegra X1のスコアも加えてみました。Google Pixel CはTegra X1を搭載した初のモバイル端末となるため、その実力を示すのが狙いです。Tegra X1がA9Xに勝てると思う前に、Shield TVはどのタブレットよりも厚く、DCではなくACで無制限に駆動することを思い出してください。近日発売予定のPixel Cとは異なり、Shield TVはバッテリーの消耗を心配する必要がないため、Pixel Cのグラフィック性能は低下する可能性があります。どうなるか見てみましょう。

3DMarkは、グラフィックスと物理演算の2つの領域でパフォーマンスを分類します。以下は、同じデバイスのグラフィックスにおけるスコアです。Core m3を搭載したAsus UX305はチャートには載っていませんが、65,904というスコアを記録し、再び3位となりました。

ここまで話してきた中で一つ言いたいのは、Atom X7に対する私の評価は悪化しつつあるということです。Intelの廉価版チップが、ほぼ全てのテストで最下位に沈んでしまわなければ良いのですが。

3DMarkは物理テストも実行します。これは、プラットフォームが仮想的なゲームエンジンをどのように実行するかを測定するものです。つまり、デバイスのCPUの速度を測定するものであり、GPUの速度を測定するものではありません。この結果を見ると、iPad ProとA9Xは、すべてのx86チップ（そう、下位のAtomさえも）に対してかなり不利な立場に置かれていることがわかります。NvidiaのShield TabletとShield TVもAppleのA9Xを上回っています。iPad Proがゴールラインを越える間、他の正規のx86チップはレモネードを飲みながら新聞を読んでいるようなものです。 

答えの探求

iPad Proの不振は、A9Xの仕組みとFuturemarkのベンチマーク構築方法に起因する可能性がある。Futuremarkは以前にも、Appleが性能を2倍と謳っていたにもかかわらず、物理テストでiPhone 5sがiPhone 5と全く同じ結果になったことがある。Futuremarkの調査は、iPhone 5s（およびiPad Air）に搭載されているA7チップが非連続メモリ構造を処理する仕組みを解明した。Futuremarkによると、A6チップとA7チップの間でAppleが意図的に設計変更を行ったことがパフォーマンスの低下に繋がっており、3DMarkはその影響を示しているという。

しかし、Futuremark は、Apple のパフォーマンスを誇示するためだけに変更を加えるのではなく、ベンチマーク方法に固執することを選択し、次のように宣言しました。

3DMarkは、現実世界のゲームパフォーマンスをベンチマークするために設計されています。物理テストでは、Grand Theft Auto V、Trials HD、その他多くのPC、コンソール、モバイル向けのベストセラーゲームで使用されているオープンソースの物理ライブラリを使用しています。3DMark Ice Storm物理テストで高いスコアを獲得することは、Bullet物理ライブラリを使用するゲームのパフォーマンス向上に直接つながり、他のゲームのパフォーマンス向上の指標としても役立ちます。

さらに多くのベンチマークについては、読み続けてください...

私自身のテスト

この記事の執筆にあたっては、サードパーティのベンチマークだけに頼りたくありませんでした。生産性向上タブレットに適した、実際にヘビーデューティーなユースケースを見つけることで、現実味を帯びた内容にしたいと考えました。例えば、取引シナリオで使用されるExcelスプレッドシートをデバイスがどれだけ速く処理するかを測定するテストなどです。そこで、Excel Traderが公開しているテストを利用しました。 

ExcelはWordとは異なり、CPUパワーをフル活用できます。私はこう考えました。「ベンチマーク理論や免責事項は脇に置いておこう。これは本物のアプリだ。本物のタスクだ。Riversideを操るリチャード・ペティのようにExcelスプレッドシートを操れる人間が作ったものだ。」

しかし…なんと、iPad Proではテストが実行できませんでした。

Excel Traderから入手できるExcel 2007とExcel 2011の両方のテストを試してみましたが、ダメでした。一方、 Excel 2013を搭載したSurface Pro 3では、サイトのテストファイル2つとも問題なく実行できました。

それはマイクロソフトのせいだ

公平を期すために言うと、この失敗の一部は、MicrosoftがMacプラットフォームにおけるExcelのサポートを不均一にしていたことに起因しています。しかし同時に、MicrosoftがiPadを積極的にサポートしている今でも、iPad ProでPCでできる「すべて」ができないことも示しています。人々はExcelを非常に複雑な財務・統計モデリングに頼ったり、OfficeのVisual Basicスクリプトを多用したりしています。75%の人がExcelを使っているかと問われれば答えはノーです。しかし、もしあなたがExcelを必要としている残りの25%の人なら、Excelが機能しないことに腹を立てるでしょう。あるいは、Surfaceを買うでしょう。

ああ、そうだ、テストしたかったんだ。iPad Proで AutoCAD 2016、Photoshop CC、Premiere Pro CCが動かないのは確かだ。ふむ。

そこで、両方のプラットフォームで人がやるようなこと、つまり机を叩きたくなるようなことを試してみることにしました。256ビットAES暗号化が施された1GBのZIPファイルを解凍するようなものです。数千個の小さな5Kの.iniファイルを取り出し、低解像度のスクリーンショットとウェブ写真を加え、さらに高解像度のJPGファイル、Sony NEXで撮影した267MBの.MTSビデオファイル、おそらく100個ほどのPDFファイル、そして12個ほどのMP3ファイルを詰め込みました。最後に、7-Zipを使ってこれらをすべて256ビットAESで圧縮しました。ファイルは各デバイスにコピーされました。

Windowsマシンでは、7-Zip 15.11ベータ版を使用してファイルを解凍しました。結果はストップウォッチで計測し、4回実行したうち最後の3回の平均を記録し、最初のテストは破棄しました。免責事項：この種のテストは信頼性が低く、結果が一貫して再現されない場合があります。とはいえ、私はすべてのプラットフォームで十分な回数実行したため、自信を持っています。

Windowsマシンでは、全く問題ありませんでした。一つも。しかしiPadでは、使用するアプリによっては問題が発生しました。例えばWinzipは、4分の1サイズの暗号化ファイルを解凍しようとしただけでフリーズしてしまいました。ようやくiZipProで使えるアプリを見つけました。このアプリは、何度使っても問題なく、確実にファイルを解凍してくれました。

私の適当に作ったテストの結果は？ まあまあ良いけど、ダメでした。見てください。

このテストは純粋なCPUテストというより、システムレベルのテストであることにご留意ください。メモリ帯域幅、ストレージパフォーマンス、ファイルシステム、CPUがすべて動作し、ここに表示されている結果に反映されています。例えば、.MTSファイルの暗号化が解除されると、ファイルはただコピーをドライブにできるだけ速く書き戻しているだけです。

このテストでは、iPad Proは2年前のSurface Pro 3とそのHaswellチップにも及ばないのに、Dell Venue Pro 11のCore MはiPad Proをわずかに上回っています。A9X は良い結果ですが、2年前のHaswellチップでは半分の時間で処理が完了します。Atom X7ですか？ええと、そうですね。今日の練習後にコーチが話したいそうです。

では、Geek Bench 3はどうでしょうか？続きを読んでください…

しかし、Geek Bench 3 はどうでしょうか?

これらのテストの大部分は、A9Xが非常に高速なARMチップであり、ARMベースのタブレットとしては最高峰であることを示しています。ただし、フルサービスのOSを搭載しながらもラップトップ並みのパフォーマンスを求めるなら、完全なCoreクラスのチップが必要になります。

Geek Bench 3 を覗いてみると、そうは思わないでしょう。コア単位で見ると、これは iPad Pro が現在の Core i5 Skylake CPU とまったく同じ速さであることを示す CPU テストだということを思い出してください。

Geek Bench 3 が結果に重み付けする方法に問題があると主張する人もいます。例えば、SHA2 暗号化は CPU パフォーマンスに過度に反映されています。A9X のハードウェアアクセラレーションを考慮すると、Apple のチップは実際よりもはるかに高速に表示されています。

Geek Bench 3ではサブスコアも表示できます。デスクトップの3.4GHz Core i7-2600と水冷式の4GHz Core i7-4790Kチップを含む様々なデバイスでSHA2のパフォーマンスがどのように変化したかをご覧ください。シングルコアのパフォーマンスなので、ハイパースレッディングや追加コアの影響は受けません。結果は非常に興味深いものです。

Geek Bench 3 の SHA2 の数値を信じるなら、iPad Pro の A9X と Nvidia の Tegra K1 は、SHA2 暗号化パフォーマンスにおいて、Intel の現在のすべてのモバイル デュアル コアよりも実際に高速です。 

どちらもデスクトップのSandy Bridgeチップよりも高速です。比較すると、Tegra K1とA9XのSHA2パフォーマンスは、88ワットの4GHz Core i7-4790Kチップとそれほど変わりません。 

Geek Bench 3 にも議論の余地がないとは言えません。批判者たちがよく引用するのは、 RealWorldTech.comのフォーラムで、冷静沈着な賢者 Linus Torvalds が投稿した記事です。彼はそこで、Geek Bench 3 で Kanye West と対決しました。

「ウィルコ、どうやらGeek Benchがdhrystoneに取って代わって君のお気に入りの役立たずベンチマークになったようだね」とトーバルズ氏は書いた。  「Geekbenchはクソだ。」  

「バージョン3では実際、状況は悪化しているようです  。これは認識しておくべきです」とトーバルズ氏は書いている。「つまり、『整数』ワークロードの4分の1から3分の1は全くのナンセンスです。暗号ユニットがあるため、アーキテクチャ間で比較することはできませんし、同じアーキテクチャ内でも数値はあまり意味がありません。そして率直に言って、これは暗号ユニットだけの問題ではありません。他のGB3『ベンチマーク』を見てみると、それらは主に小さなカーネルで、Dhrystoneとそれほど変わりません。おそらく、それらのほとんどはL1キャッシュに収まる程度のコードフットプリントを持っているでしょう。」

Geek Benchの見解

Geek Bench側の見解を聞くため、このテストの主要開発者の一人であるジョン・プール氏に話を聞いた。プール氏は、この論争は理解しており、真剣に受け止めていると述べたが、同時にトーバルズ氏の意見には反対の立場も示した。

「私たちは彼をとても尊敬しています」とプール氏は言った。「今回の件では彼の判断は間違っていると思います。」

トルバルズ氏は、パフォーマンス測定における小さなコードループの価値に反対しているが、プール氏は、将来的にはループの小型化が重要になると述べた。プール氏によると、ウィンドウを画面上で移動させたり開いたりすることは、CPUにとってほぼ解決済みの問題だという。

「ゲームやPhotoshopのようなアプリケーションになるとどうなるでしょうか？ より小さく、より高負荷なループへの移行が見られます。物理エンジンのコアループ、レンダリングエンジンのコアループ、あるいはJavaScriptインタープリターのコアループを実行しているものが見られるようになるでしょう」とプール氏は述べた。  「つまり、はるかに小さく、はるかに高負荷なループのことです。Geek Benchはこれを非常にうまく測定できると思います。」

プール氏は、テストの測定対象について非常に透明性が高く、詳細なドキュメントも提供していると述べた。チップの性能を測定するために、Geek Benchはあらゆるプラットフォームで同じコードを実行しようとするとプール氏は述べた。

プール氏は、A9Xが例えばCore m3よりも速いかどうかという問題は論点外だと主張する。現状では、ノートパソコンで使えるソフトウェアがiPad Proでは利用できないため、ソフトウェアがそれを変えるまでは、Appleの生産性タブレットは単なる好奇心の産物でしかない。

それでも、プール氏は、A9X で OS X がどうやって動くのかは気になると述べた。 私も同じ気持ちだ。比較がずっと簡単に測定できるようになるからだ。

Geek Benchに公平を期すならば、ベンチマーク開発者はしばしば社内の政治的ニーズに応えていると非難される。ソフトウェアおよびハードウェアのコンソーシアムであるBAPCoはPC業界にルーツを持つため、PC中心すぎると感じる人もいる。AMDが同団体を脱退し、BAPCoがIntelとあまりにも密接に結びついていると非難した際には、PCベンダーの間でも激しい論争が巻き起こった。

BAPCoの関係者は常々、一般の人々に洞察を提供するベンチマークを作成することが目的だと述べている。もしこのテストがIntelやx86に有利になるように調整されているとすれば、今年初めに新バージョンがリリースされ、Intelの旧型AtomチップがAppleやNVIDIAのCPUに押しのけられた時には、その影響は全く見られなかった。

私は BAPCo のジョン・ピーターソン氏と両者の哲学的な違いについて話しました。

「TabletMarkは、各プラットフォームが提供する多様なAPIを活用して、生産性／メディアアプリのパフォーマンスとバッテリー寿命を評価します。ワークロードは、アプリ開発者が各プラットフォーム向けに行う実装上の選択を反映するように実装されています」とピーターソン氏は述べています。「GeekBenchは通常、独自のライブラリを使用してタスクを実行しますが、TabletMarkは利用可能なプラットフォームAPIを活用して、同等の機能をよりプラットフォームに合わせた方法で実行します。」 

ピーターソン氏はまた、多くのテスターが行ってきたブラウザベースのベンチマークに頼ることは、ブラウザに公開されるハードウェアに制限があるため、本質的に問題があると述べた。

3 つの 4K ストリームを編集する場合はどうでしょうか?

Apple の最も印象的な主張の 1 つは、3 つの 4K ムービー ストリームを同時に「編集」できる機能です。これはデスクトップでは面白くないし、ほとんどのラップトップではおそらく実現できません。

それをテストするために、このプラットフォームに速球を投げてみることにしました。Redデジタルシネマカメラで撮影した4K RAWビデオファイルをいくつか用意しました。 

Core i7搭載のSurface BookにPremiere Pro CCをインストールし、プロジェクトを作成し、R3Dファイルをいくつかタイムラインに追加して再生してみました。レンダリングなしでは、フル解像度で再生すると大きな遅延が発生する可能性がありました。これはGeForce GPUの助けを借りれば実現できます。レンダリング後は、タイムライン上で編集やスクラブ再生が可能でした。

iPad Proで同じR3DファイルをiMovieで開こうとしましたが、うまくいきませんでした。iMovieが R3DのRAWファイルを読み込めないの が問題だと思います 。4K解像度の.MOVファイルもデバイスにコピーしてみましたが、これもiMovieで開けませんでした。Appleが悪いと言っているわけではありませんが、AppleがiPad Proでできると言っていることを試してみたところ、うまくいきませんでした。 

ベンチマーケティング101

それで、これは一体何を意味するのでしょうか? 

まず、一つか二つのベンチマークから得た数値だけを見て結論を出すのは無理だと思います。ただし、事前に決められた目的に沿うように事実を歪曲しようとする場合は別です。それは「ベンチマーキング」ではなく「ベンチマーケティング」と呼ばれ、両者には違いがあります。

実のところ、私が実行したテストのほとんどで、iPad Pro は現行の、あるいは 2 年前の Core クラスの Intel CPU よりも速くないことが示されています。（Atom についてはまた別の話です。）

それは違います。

しかし、それでもこれはすごいチップです。

A9Xを3DMarkを繰り返し実行してパフォーマンスの低下がないか確認しようとしましたが、完全に諦めました。とにかく熱くなりません。Google Nexus 9は確かに小さく（そして冷却が難しい）、Webブラウジングだけで熱くなりますが、同じことは言えません。iPad Proで同じ4K動画ファイル（実際には編集できませんでしたが）を再生したところ、バックグラウンドウィンドウで再生していても非常に滑らかでした。非常に印象的なタブレットです。

それでも、Surface Pro 3やノートパソコンの代わりにはなれません。デスクトップレベルの機能を備えていないからです。これはA9Xのせいではありません。OSとアプリが「プロ」レベルのマルチタスク性能や、マウスとキーボードによる精密な操作性を満たしていないからです。

インテルのAtom X7がフルサービスのOSを実行できるのであれば、より優れたA9Xも理論的には実行できるはずだ。 これは長期的にはAppleにとっての勝利であり、インテルにとっては警鐘となるはずだ。