パフォーマンスにこだわる私としては、Spectre と Meltdown の脆弱性によるセキュリティ リスクよりも (結局のところ、現在使用されている既知のエクスプロイトは存在しません)、修正によるパフォーマンスの低下の方が心配です。
そして私が見ているところからすると、私の懸念は正当なものなのです。
これまで私がフルアップデートされたプラットフォームを体験したのは、Microsoftの初代Surface Bookだけです。Intel「Skylake」Core i7-6700Uプロセッサを搭載し、16GBのLPDDR3メモリと512GBのSamsung 950 Pro NVMeドライブを搭載しています。Surface Bookは64ビット版Windows 10 Pro Fall Creator's Updateを実行しています。
私は基本的に CES で 1 週間ずっとこのマシンを操作していたのですが、金曜日の朝に自宅で起動してみると、Microsoft が Spectre と Meltdown の脆弱性に対処する 2 組のファームウェア アップデートをリリースしていたことがわかりました。
正直に言うと、私はまだ Spectre と Meltdown で一体何が起こっているのかを把握しようとしているところですが、これは実稼働マシンで前後のベンチマークを実行する素晴らしい機会でした。
TechSpotのSteve Walton氏の記事を読んだところ、ゲームやCPU負荷の高いアプリのパフォーマンスは変わらないことが分かりました。しかし、Walton氏はストレージの読み書きパフォーマンスに問題があると指摘していたので、Surface Bookで最初に調査する点となりました。テストは、まだパッチを適用していないマシンから始めました。
IDGMeltdown および Spectre のパッチが適用される前の Microsoft Surface Book における CrystalDiskMark 5.5.0 のパフォーマンス結果。
まず、CrystalDiskMark 5.5.0のデフォルトテストを実行しました。少し古いバージョンですが、結果は2つの領域、つまり小さな4Kの読み書きと、キュー深度32を使用した4Kの読み書きで有効です。左側は、Surfaceファームウェア91.1926.768.0と90.1837.256.0をインストールする前の結果です。
SSDを常温に戻すため、2～5分の休止時間を挟みながら3回繰り返し実行しました。ご存知の通り、SSDは熱くなると動作が遅くなることがあります。これは特定の結果の一例ですが、私が確認した結果の代表例です。
スペクターとメルトダウンの修正後
テストが完了したら、Surface Book を再起動してファームウェア パッチをインストールすることができました。
IDGSpectre および Meltdown の脆弱性に対する更新後の Microsoft Surface Book での CDM 5.5.0 の結果。
右のグラフからわかるように、シーケンシャルリードとライトのパフォーマンスに大きな変化はありません（実際、CrystalDiskMarkでは低キュー深度のシーケンシャルテストは使用されなくなりました）。しかし、TechSpotが指摘したように、4Kパフォーマンスは芳しくありません。4Kリードのパフォーマンスはほぼ同等でしたが、ライトのパフォーマンスは26%低下しました。
しかし、さらに悪いことに、キュー深度が高い場合の 4K 読み取りと書き込みでは、パフォーマンスがそれぞれ 42% と 39% 低下します。痛いですね。
パッチ適用前の状態と同様に、テストを 3 回実行しましたが、同様の結果が得られました。
より共感できるシナリオ
当然のことながら、合成読み取り/書き込みテストにおけるストレージパフォーマンスの低下は、理解しにくいものです。そこで、パッチがパフォーマンスにどのように影響するかを分かりやすく確認するために、最新バージョンのMicrosoft Edgeを使用して、Surface BookでPrincipled Technologies WebXPRT 2015も実行しました。WebXPRT 2015は、HTML5とJavaScriptの様々なシナリオにおけるパフォーマンスを測定するブラウザベースのベンチマークです。
IDGWebXPRT 2015 の Meltdown および Spectre パッチの前。
パッチを当てていない場合、総合スコアは450でした。パッチを当てると、スコアは433まで下がりましたが、それほど大きな変化はありませんでした。これは約4%の速度低下です。Intelによる同じテストでは、約10%の速度低下が見られました。
IDGWebXPRT 2015 の Meltdown および Spectre パッチ後。
では、状況は合成ストレージベンチマークが示すほど深刻ではないのでしょうか？答えはイエスでもありノーでもあります。パッチのテストはまだ初期段階ですが、パフォーマンスの低下はマシンで実際に何をするかによって左右されると考えるのが妥当でしょう。
TechSpotの調査によると、ほとんどの古典的なテスト（純粋な3Dレンダリングなど）とほとんどのゲームでは変化は見られません。しかし、TechSpotと私が共に確認した20%を超えるストレージペナルティは、時折発生するでしょう。
実際、Intelが提供しているテストの一つに、BAPCoのSYSMark 2014 SEがあります。SYSMarkは、WordやPhotoshopなどの実世界のアプリケーションを使用し、実際の動作を模倣したタスクを実行する、最も高度なベンチマークの一つです。
IDGSurface Book 用の 2 セットのパッチは、Spectre および Meltdown の脆弱性に対処します。
さらに優れた点として、BAPCoは操作の応答時間のみを測定するテスト手法を開発しました。例えばWordの場合、従来のベンチマークでは、最速のタイピングスキルを持つ人でも到底及ばない入力速度と操作速度を誇っていました。
しかし、SYSMark 2014 SE は、アプリケーションの起動にかかる時間や、検索と置換の実行、写真のインポートなど、本当にイライラする可能性のあるものを測定します。
ご想像のとおり、SYSMark はストレージの応答性を重視します。
IntelのSYSMark 2014 SEテストでは、全体的に約8%の低下が見られることがほとんどですが、システム応答性テスト（ストレージパフォーマンスがより重要になると思われるテスト）の詳細では、21%の低下が見られるとIntelは述べています。これは痛いですね。
Intelの結果を自社ビルドで独自に検証するつもりですが、今のところ私が見ている限りでは、パフォーマンスの低下は「大したことない」から「これは本当に忍耐力を試される」まで、幅広い範囲に及ぶでしょう。繰り返しますが、結局のところは、何をどのように行うかにかかっています。
起動に1,500ミリ秒かかるアプリケーションの起動に500ミリ秒余計にかかるなら、大した問題ではありません。しかし、写真のインポートやコピーに27秒ではなく34秒かかるとなると、すぐにイライラしてしまい、それが私にとっては不安です。
