AMDは衝撃的なニュースを放ち、ライバルのインテルとベンチマーク協会のBAPCoが不正行為を行ったと非難した。
AMDのクライアントコンピューティング製品担当ディレクター、ジョン・ハンプトン氏は、木曜日にYouTubeに投稿された動画の中で、ドイツの自動車メーカーであるフォルクスワーゲンがディーゼル排ガス試験で不正行為を行ったと非難された最近のスキャンダルにまで言及した。「大手自動車メーカーをめぐる最近の失態は、最も確立された組織が提供する情報でさえ、誤解を招く可能性があることを如実に示している」とハンプトン氏は述べた。
インテルはAMDの非難についてコメントを控えたが、質問に対しBAPCoの担当者は顧客がインテルを信頼していると述べた。
「何千もの顧客がBAPCoベンチマークを信頼する理由は、私たちが人々が日常的に使用するアプリケーションのパフォーマンスに焦点を当てた業界コンソーシアムだからです」と同コンソーシアムの広報担当者は語った。
これがなぜ重要なのか：パフォーマンスは依然として消費者や組織にとって重要です。サードパーティのベンチマークは、その測定対象を理解している人がほとんどいないにもかかわらず、購入決定に大きな影響を与えます。AMDは合理的な質問をしていますが、答えはAMD自身でさえ不明瞭です。
ロバート・カーディンAMDの主張
ハンプトン氏は動画の中でAMDの主張を詳しく説明した。「では、真実か誤解か。Sysmarkはシステムパフォーマンスを評価する上で、信頼性が高く、客観的で、偏りのないベンチマークなのでしょうか？」とハンプトン氏は問いかけた。ハンプトン氏とAMDのエンジニアリングマネージャー、トニー・サリナス氏は、2台の「類似」ノートPCでSysmark 2014を実行した。Core i5ノートPCのスコアは約987だったのに対し、AMD FXノートPCのスコアは659だった。
サリナス氏は次に、同じノートパソコンをFuturemarkのPCMark 8 Work Acceleratedワークロードで実行しました。AMD FXノートパソコンは速度が遅いものの、その差はわずか7%程度でした。
サリナス氏が最後に実行したテストは、Microsoft Officeを使った未確認のベンチマークテストでした。Core i5は61秒で終了したのに対し、FXチップは64秒で終了しました。
「Sysmarkは現実的な日常的なワークロードを使用していないという結論に達しました」とハンプトン氏は述べ、視聴者に対し、インテルがベンチマークに関して開示すべき内容を規定したFTCの細則を読むよう促した。
2010年のFTCの判決により、Intelは次のように述べる義務を負いました。「パフォーマンステストで使用されるソフトウェアおよびワークロードは、Intel製マイクロプロセッサ上でのパフォーマンスにのみ最適化されている可能性があります。SysmarkやMobileMarkなどのパフォーマンステストは、特定のコンピュータシステム、コンポーネント、ソフトウェア、操作、および機能を用いて測定されます。これらの要因のいずれかに変更を加えると、結果が異なる場合があります。購入を検討されている製品を十分に評価するためには、他の情報やパフォーマンステストも参照してください。これには、他の製品と組み合わせた場合のパフォーマンスも含まれます。」
長年の確執
AMDの問題は、実は2000年にまで遡ります。当時、同社のAthlon XP CPUはSysmark 2001でPentium 4を圧倒していました。しかし、Sysmark 2002がリリースされると、Pentium 4が突如トップに立ちました。その後、AMDはテスト内容への影響力を高めるため、BAPCoへの参加を決定しました。
同社は2011年までBAPCoに所属していたが、その後、大きく報道された騒動で辞任し、IntelのCPU向けにテストが不正に操作されていると非難して撤退した。理由は明らかにされていないものの、NvidiaとVIAも同時にBAPCoを離脱した。
BAPCoは主にPC OEMメーカーとIntelなどの企業で構成されていました。かつてはAppleやメディア企業もBAPCoに加盟していました。
Sysmarkは、Photoshop、Premiere、Word、Excelなどの市販アプリケーションを使用します。アプリケーションにワークロードを割り当て、そのタスクに対する応答時間のみを測定します。
AMDの問題は、常にアプリケーションではなく、ワークロードにありました。2011年にSysmarkを撤退した際、同社は当時、Sysmarkがコンピューティングの「未来」を活かせず、GPUのテストも行っていないと判断したと説明しました。
当然のことながら、5年経った今でもAMDの不満は変わりません。同社のビデオで、ハンプトン氏は次のように述べています。「（SYSMarkでは）CPUの高負荷タスクが過剰に実行されています。つまり、このベンチマークは実際にはシステムのCPU側のみを評価しているのです。」
ベンチマーキングとベンチマーケティング
問題の一部は、ベンチマークの背後にある政治的駆け引きにあります。ベンチマークが「ベンチマーケティング」に陥り、ある製品を他の製品より優れているように見せるために、数値やテストを恣意的に選択してしまうという、曖昧な境界線です。今回のケースでは、AMDはBAPCo 2014 1.5が純粋なCPU性能に重点を置いていると述べている可能性が高いでしょう。しかし、本来の目的はCPU性能を測定することではないでしょうか？
AMDの観点から言えば、そうではありません。同社は長年、未来はGPUコンピューティングにあると主張してきました。そして、当然のことながら、AMDは長年にわたり、グラフィックス性能においてIntelのCPUに対して優位に立ってきました。
実際、AMDがIntelに遅れをとっているものの、それほど大きく遅れていないことを示すために使用しているテストの一つが、PCMark 8 Work Acceleratedです。このテストには2つのオプションがあります。1つはGPUを利用するOpenCLを使用し、もう1つはCPUのみに依存するものです。
すると疑問が湧いてきます。GPUを考慮に入れなかった場合、同じラップトップのスコアはいくらだったのでしょうか？AMDはちょっとしたベンチマークマーケティングを行っているのでしょうか？
また、現在一般的な仕事用アプリやオフィス用アプリのうち、OpenCL に大きく依存しているものはどれくらいあるか、自問してみる必要があります。おそらく、ほとんど、あるいは全くないのではないでしょうか。
私たちが運営するものとその理由
Sysmark をシステム上で動作させるのに何時間も費やしてきた身としては、Sysmark を手放すことができて本当に良かったと思っています。不正行為の証拠は何もありませんでしたが、インストールにも実行にもとてつもなく時間がかかりました。当時は Sysmark が頻繁にクラッシュし、またしても一日を無駄にしてしまうこともありました。
しかし、その方法論は非常に堅実なものに思えました。例えば、多くのOfficeスイートのテストでは1,000ワード/分で文書を「入力」していましたが（現在もそうなっています）、Sysmarkは、人間の現実的な速度で「入力」しながら、応答時間のみを測定する方法を発見しました。
しかし、2016年になって、一体誰がそんなことを気にするでしょうか？1997年当時はWordの入力やPowerPointの閲覧に重きを置いていましたが、今ではSSD、十分なRAM、そしてそこそこ高速なCPUを搭載したPCであれば、仕事の90%はこなせます。 標準的なOfficeの単調な作業であれば、デュアルコアのCore i3と8コアのCore i7チップ（適切なRAMとSSD搭載）の違いなど、ほとんどの人は区別がつかないでしょう。
そのため、CPUのみで動作するPCMark 8 Conventionalをよく使って、実際にはそれほど重要ではないことを示しています。こちらは複数のラップトップを並べて比較した結果です。HaswellからSkylake、Core MからCore i7まで、これらのラップトップを実際に使ってみた結果ですが、Google Chrome、Outlook、WordではSurface BookとZenBookの違いが全く分かりません。ただし、Atomについてはまた別の話です。
ほとんどの Office タスクでは、Core i7 チップと Core m チップの違いを感じることは難しいでしょう。
注意すべき点
この最近の騒動から得られる教訓は、ベンチマークが重要ではないということではなく、人々、そしてテスターはベンチマークを正しく適用し、解釈する必要があるということです。Officeでは、Core i3やFXのCPUを搭載しているかは関係ありません。しかし、ビデオエンコードやゲームでは、もちろん重要です。
