将来、データが氾濫する組織を支援することを念頭に、IBM の研究者は 43 分で 100 億のファイルをスキャンできる超高速ストレージ システムを開発しました。
このシステムは、Supercomputing 2007 で実演され、3 時間で 10 億のファイルをスキャンした以前のシステムを大幅に上回りました。
パフォーマンス向上の鍵は、ストレージシステムが要求された情報を見つけるために使用するメタデータを、高速フラッシュメモリに保存したことです。従来、メタデータリポジトリはディスク上に保存されており、アクセスによって処理速度が低下していました。
「データを非常に高速なストレージに保存しておけば、こうした操作をはるかに高速に実行できます」と、クラスターを構築したIBMアルマデン研究所のストレージシステム担当ディレクター、ブルース・ヒルズバーグ氏は述べています。「メタデータ操作にソリッドステートストレージを使用できることで、ディスク上にデータをすべて保存していた場合よりもはるかに迅速に管理タスクを実行できるようになります。」
IBM は、今後数年間で顧客がさらに多くの情報に取り組むことになるだろうと予測しています。
「顧客は長期間にわたって大量のデータを保存し、処理する必要があるため、そのデータを効率的に管理する方法が必要になる」とヒルズバーグ氏は述べた。
IBMは今回のデモンストレーションのために、合計6.8テラバイトのソリッドステートメモリを搭載した8コアサーバー10台からなるクラスターを構築しました。Violin Memoryの3205ソリッドステートストレージシステムを4台使用しました。その結果、システムはほぼ5GB/秒（ギガバイト/秒）の速度でファイルを読み取ることができました。
このシステムでは、IBMのGeneral Parallel File System（GPFS）バージョン3.4の調整版が使用されました。元々は高性能コンピューティングシステム向けに開発されたGPFSですが、データ量の多いエンタープライズワークロードにもますます適しつつあるとヒルズバーグ氏は述べています。GPFSでは、すべてのプロセッサコアがディスクへの書き込みとディスクからの書き込みを並列に行うことができるため、ストレージシステムの応答性が大幅に向上します。
ヒルズバーグ氏は、今日のファイルシステムは、複数のストレージシステムにまたがるデータを単一の名前空間として管理するのに適していないと説明した。2007年のデモンストレーションでは、GPFSのような並列ファイルシステムを高度にスケーラブルなストレージシステムの基盤として利用できることが示された。今回の研究では、ソリッドステートディスクを追加することで、このようなシステムをさらに改善できることが実証されている。
研究者らは、他の団体が同様のシステムを再現するのに役立つレベルでアーキテクチャを詳細に説明したホワイトペーパーを公開した。
ヒルズバーグ氏によると、IBMはこれらのアイデアを自社製品に組み込む可能性もあるという。IBMはこれまで、実験的なソリッドステートシステムの構築に関する研究で、ソリッドステートディスクと通常のディスク間でデータを自動的に分散させるシステムを支援するIBM Easy Tierなどの新しいソフトウェアを開発してきた。
ヒルズバーグ氏はこのデモンストレーションについて、「この研究から、本当に興味深い成果が出てくると思います」と語った。
業務処理の高速化にソリッドステートストレージを活用することに熱心に取り組むのはIBMだけではありません。今月発行のAssociation for Computing Machinery（ACM）の「Communications」誌で、カーネギーメロン大学とインテル研究所の研究者グループが、低消費電力プロセッサとフラッシュメモリを組み合わせたサーバーアーキテクチャを発表しました。この設計により、大量のトランザクションを処理する大規模ウェブサイトの業務処理を大幅に高速化できる可能性があります。
IBMのシステムと同様に、研究者らのFast Array of Wimpy Nodes（FAWN）アーキテクチャは、比較的少量のフラッシュメモリしか必要とせず、そこに最も頻繁に参照されるデータを保存できます。研究者らは、ソリッドステートストレージは従来のディスクの10倍のコストがかかる可能性があるものの、パフォーマンスを100%向上させることができると指摘しています。
フラッシュメモリを活用したサーバーを構築するというアイデアは「それほど突飛なものではありません。その技術は既に存在しています」と、FAWNには関与していないGoogleの著名なエンジニア、ルイス・アンドレ・バローゾ氏は述べた。
