ハリウッドのアカデミー賞のように、スーパーコンピュータのトップ 500 リストは、高性能コンピューティング (HPC) の関係者や観察者によって忠実に監視されていますが、その優秀さへの忠実性については声高に疑問を呈しています。
「トップ500は人為的な問題を用いており、スーパーコンピュータで通常実行されるワークロードの約80%を測定していない」と、インテルのデータセンターグループのテクニカルコンピューティングマーケティングディレクター、ジョン・ヘンゲフェルド氏は、今週開催されたスーパーコンピュータ2010カンファレンスの会場で述べた。「これは業界を代表するベンチマークではない」
「このリストは何を測っているのか正確には不明だ」と、IBMのディープ・コンピューティング部門を率いるデイブ・トゥレック氏は先週のインタビューで同意した。
映画芸術科学アカデミーが主催するアカデミー賞（通称「オスカー」）の選考プロセスは謎に包まれており、どの映画や人物が受賞し、どの作品や人物が受賞しないのかという議論が寄せられるのも当然と言えるでしょう。しかし、Top500に関しては、その不満はスーパーコンピューターを評価する際に用いられる「Linpack」と呼ばれる単一の指標に集中しています。
スーパーコンピュータのように驚くほど複雑なもののパフォーマンスを、単一の指標でランク付けすることに疑問を抱く人は多い。
今週ニューオーリンズで開催された SC2010 カンファレンスのパネルディスカッションで、ある高性能コンピューティングベンダーの幹部が、最大の Linpack 番号を得るために Android スマートフォンを 10 万台つなげるというジョークを飛ばし、Linpack の「愚かさ」を露呈させた。
Top500 リストは、ドイツのマンハイム大学、米国エネルギー省ローレンス・バークレー国立研究所、テネシー大学ノックスビル校の研究者によって年に 2 回作成されます。
日曜日に公開された最新版では、中国の新設天河1Aシステムが2.57ペタフロップスの持続性能を記録し、トップに立った。2位は米国エネルギー省オークリッジ・リーダーシップ・コンピューティング施設のJaguarシステムで、1.75ペタフロップスを記録した。
Linpack に関する不満は目新しいものではないが、今年は Tianhe-1A などの多くのシステムが GPU (グラフィックス プロセッシング ユニット) を使用して Linpack の評価を高め、事実上 Top500 リストを操作するようになったため、不満が顕著になった。
「ベンチマークから実際のアプリケーション速度を把握するのは難しい。Top500を単なるGPUの数を競うだけのものにしたくはない」と、Top500授賞式の出席者は述べた。
「Linpackには多くの問題点がありますが、良い点もいくつかあります。これは一つの数字であり、様々な要素を考慮して判断する必要があることを念頭に置くことが重要です」と、ランキング審査員の一人であるジャック・ドンガラ氏は授賞式で述べた。
Linpack の利点の 1 つは、そのシンプルさにより、スーパーコンピューター管理者が比較的定期的にスコアを向上できることです。これにより、さまざまな施設やシステム構築者が次のトップの座を目指して競い合う様子が、刺激的なニュースとして報道されます。
例えば1年前、クレイ社製のJaguarシステムは1.75ペタフロップスを記録し、米国エネルギー省ロスアラモス国立研究所のRoadrunnerシステムをトップの座から引きずり下ろしました。Roadrunnerは当時1.04ペタフロップスを記録しており、2008年6月にペタフロップスの壁を突破した最初のシステムとなりました。
しかし、Linpack は 1 つの指標に過ぎず、スーパーコンピュータの多くの要素を考慮していません。
「重要なのは、アプリケーションがこれらのマシン上でどれだけスムーズに動作するかです。これは測定が難しく、異なるマシン間で比較するのも困難です」とドンガラ氏は述べた。
Linpackは基本的に線形方程式を解くFortranルーチンの集合であるため、マシンの計算能力を測定するのに最適です。「Linpackは、多数のプロセッサを並列処理させて、単一の大きな問題をどれだけ効率的に処理できるかを測ります」とIntelのHengeveld氏は述べています。
しかし、Linpack はマシンのメモリパフォーマンスを推定するのにはあまり適していない。これは、今日のビッグデータ関連の問題の多くにとってますます重要な指標となっている、とヘンゲフェルド氏は述べた。
Linpackが測定できないもう一つの側面は信頼性だとTurek氏は指摘した。「平均故障間隔が1週間か2週間の場合、Linpackはそれについて何も教えてくれません」と彼は言った。
朗報としては、スーパーコンピューティングのベンチマークがますます開発・導入されつつあることが挙げられます。ドンガラ氏をはじめとする研究者たちは、数年前から7つの異なるベンチマークでスーパーコンピューターを評価する「HPCチャレンジ」を開催しています。
過去 4 年間、バージニア工科大学の研究者 Wu Feng 氏は Green500 を使用してスーパーコンピューターのエネルギー効率を測定してきました。その最新版が SC2010 で木曜日に発表される予定です。
また、SC2010 では、研究者グループが、データ集約型アプリケーションにおけるスーパーコンピュータのパフォーマンスを測定するベンチマーク セットとなる Graph500 の初版を発表しました。
チームは最初のベンチマーク（複数のノードにまたがる複数の分析手法を用いた検索問題）を完了し、優勝者を発表しました。トップは、米国エネルギー省アルゴンヌ国立研究所の8,192コアのIntrepidシステムで、1秒あたり66億件の参照（つまり結果）を実行できました。
これらのベンチマークのいずれかがTop500に取って代わるかどうかは、時が経てば分かるだろう。また、アカデミー賞と同様に、Top500にも論理に反する持続力があるかもしれない。
「業界について書くのにとても便利な手段です」とトゥレック氏は述べた。「一般ユーザーに誤った情報を伝える可能性を懸念しています。しかし、この分野で購入する人は知識が豊富で、騙されないと確信しています。」
ジョアブ・ジャクソンは、IDGニュースサービスでエンタープライズソフトウェアとテクノロジー全般の最新ニュースを担当しています。Twitterで@Joab_Jacksonをフォローしてください。ジョアブのメールアドレスは[email protected]です。
