CERN は、仮想化用の OpenStack と構成管理用の Puppet を使用してアップグレードすることで、大型ハドロン衝突型加速器 (LHC) のデータを処理するインフラストラクチャの柔軟性を高めています。
この研究機関の目標は、ジュネーブのスイスとフランスの国境の地下約100メートルに位置する全長27キロメートルの円形トンネル内にあるLHCで研究する科学者へのサービス提供方法を変えることだ。
「私たちが取り組まなければならない課題の一つは、固定の人員と固定費用で、いかにしてインフラを大幅に拡張するかということです。固定予算では機器をどんどん購入することはできますが、同じ人数でより多くのサービスを提供することはできません」と、LHCコンピューティンググリッドプロジェクトリーダーのイアン・バード氏は述べています。
しかし、やり方を変えれば実現可能になるかもしれません。CERNの目標は、プライベートクラウドを活用したIaaS（Infrastructure as a Service）やPaaS（Platform as a Service）へと移行することで、効率性を高めることです。インフラの利用方法をより動的に変更できるようになることが目標です。バード氏によると、現在加速器は停止しているため、CERNデータセンターのワークロードは、LHCが稼働していた昨年とは異なるとのことです。
「ユーザーは、午後に50台のマシンを搭載した分析クラスターを自分でプロビジョニングし、その後は再び使用を中止したいと考えている。まさにそうしたサービスを提供することが目的だ」とバード氏は述べた。
CERNがOpenStackを選んだのは、最も注目を集めているプラットフォームだと思ったからです。バード氏によると、OpenStackの人気は人材確保の観点からも魅力的です。
「全員が正社員契約を結んでいるわけではないので、流動的なスタッフを抱えています。ですから、専門知識を持って入社してくる人や、その専門知識を持って退職し、それをどこかで活かせる人がいるのは良いことです」とバード氏は語った。
CERN は、クラスター自体を管理するカスタムの社内ソフトウェアから Puppet などのソフトウェアに移行しています。
「LHCのクラスタをスケールアップし始めた当時、GoogleやAmazonのような大規模なサービスはまだ存在していませんでした。そのため、構成管理と監視にかなりの労力を費やしましたが、数年前に、より大規模なサポートコミュニティを持つサービスに移行することにしました」とバード氏は語った。
CERNはChefとPuppetを検討した結果、PuppetがCERN自身の管理モデルに近いことからPuppetを選択しました。PuppetとOpenStackの展開は現在進行中です。
現在、CERN のインフラストラクチャは、世界中にあるさまざまな規模の約 160 のデータ センターに分散されています。
「理由は二つあります。一つは、ここにあるデータセンターの規模を考えると、LHCの計算処理を全てここで行うことは不可能だということです。もう一つは、政治的、社会学的な理由です。私たちは計算処理のために資金をもらっていますが、その資金は元の場所に留まることが望ましいのです」とバード氏は述べた。
バード氏によると、CERN独自のデータセンターと最近ブダペストに開設が発表されたデータセンターがティア0で、次のティアは11のデータセンターで構成されており、通常は米国のフェルミ国立研究所などの大規模な国立研究所に設置されている。最後のティアは主に大学のコンピューティングリソースで構成されている。
OpenStack を CERN の分散コンピューティング リソースにより適合させるために、CERN はデータ センター フェデレーションのコミュニティと協力します。
「CERNでOpenStackを運用し、他のグリッドセンターでもOpenStackを運用している場合は、クラウド部分を統合したいと考えています。そのため、例えばCERNで資格情報を取得している場合は、作業をフェルミ国立研究所に移行できるはずです」とバード氏は述べた。
ミカエル・リクナスストレージはCERNの活動において非常に重要な部分であり、その需要は膨大です。LHCにある2つの大型検出器、CMSとATLASは、1秒あたり約1ペタバイト、つまり1,000テラバイトのデータを生成します。これらの検出器は、加速器内での衝突後にあらゆる方向に放出される粒子の動きを追跡し、エネルギーと電荷を測定します。その後、各検出器に設置された15,000個のプロセッサコアを備えたLinuxマシン群によって、最も興味深いイベントのデータが毎秒数百メガバイトにまで絞り込まれます。
それでも、2012年にはLHCから約30PBのデータが保存されました。データはディスクにキャッシュされ、その後テープにアーカイブされます。アーカイブには約100PBのデータが保存されており、そのうち約70PBは加速器からのデータだとバード氏は述べ、このアーカイブ作業を「容易ではない作業」と呼んでいます。
Bird は、コスト、エラー率、電力消費という 3 つの主な理由からテープ ストレージを強く支持しています。
テープは、同等の容量を持つディスクと比べて依然として10分の1ほど安価です。バード氏は、Amazon Web ServicesのGlacierのようなホスト型ストレージサービスはあまりにも高価すぎると述べています。また、テープのエラー率はディスクの故障率に比べて非常に低いとも述べています。
消費電力を抑えることも重要です。これは今日のデータセンターにとって制約要因となっています。ブダペストのデータセンターが増設されたのは、CERNのスペース不足のためではなく、電力不足のためでした。バード氏によると、テープロボットはディスクに比べて消費電力が非常に少ないそうです。
「テープは相当過小評価されています。おそらくここ15年ほど、テープは時代遅れでディスクに取って代わられると言われてきました。しかし、テープは完全に消え去ったわけではなく、近い将来になくなるとも思えません。大規模なアーカイブにおいては、テープに太刀打ちできるはずがありません」とバード氏は述べた。
しかし、それが機能するにはテープが適切に管理される必要があります。
「テープに記録して20年間放置しておくわけにはいきません。テープメディアは2～3年ごとに変わるため、私たちは常にある世代から読み出し、次の世代にコピーしています。また、常に読み取り可能な状態であることを確認するために、積極的に読み出しを行っています」とバード氏は述べた。
