お気に入りのウェブホストが倒産し、あなたと同じように何千人ものユーザーのコンテンツが削除されたらどうなるでしょうか？ データは完全に消えてしまい、二度と見られなくなってしまうのでしょうか？ それは簡単に起こり得ます。
現行法では、クラウドサイトやホスティングサイトは、ユーザーがそのページに投稿したコンテンツを公開し続けるか、それとも削除するかを決定するほぼ無制限の権利を有しています。また、コンテンツを削除することを選択したサイトには、データを保存する義務はなく、データの提供者に削除時期を事前に通知する義務さえありません。
一般的なホスティングサイトの関連利用規約では、ホストの免責条項と黙示的な一方的行為権が明確に規定されています。「[ホスティングサイトの]サービスは、お客様ご自身の責任でご利用いただく必要があります。[ホスティングサイト]は、お客様のアカウントに保存されている当社のサーバー上のファイルおよびデータについて一切責任を負いません。[ホスティングサイト]は、お客様のウェブサイトやメールのバックアップを保持していません。[ホスティングサイト]は、ウェブサイトのコンテンツが削除または破損しないこと、またはウェブサイトのバックアップが常に利用可能であることを保証できません。お客様は、当社のサーバーに転送されるすべてのファイルおよびデータについて全責任を負い、お客様がアカウントを持つ[ホスティングサイトの]サーバー上に保存されるすべてのファイルおよびデータの適切なバックアップを保持することに同意するものとします。」
ウェブホストが情報を消去する自由は、ジェイソン・スコット氏にとって大きな悩みの種であり、それが「データ保存活動家による、ゆるやかで無法な集団」であるアーカイブチームを結成した理由だと彼は言います。アーカイブチームは、今まさにAppleのMobileMeのように、ダウンしそうなホスティングサイトを探し出し、データが消え去る前に、猛烈な勢いで組織的なデータ救出活動を行います。
2009年の設立以来、アーカイブチームには約250名が参加しています。メンバーの中には、対象サイトからコンテンツを系統的にダウンロードする者もおり、中には独自のスクリプトを作成してダウンロードする者もいます。また、救出したデータを保存するためのサーバーを寄付したり、利用可能なサーバーを探したりする者もいます。
私たちは誰も信じない
アーカイブチームの活動には「ハッカー」的な雰囲気が漂っている。「アーカイブチームの非公式スローガンは『誰も信用しない』です」とスコット氏は語る。「つまり、このグループは危機に瀕したWebコンテンツを可能な限り多く救い出し、可能な限り多くのWebサーバーにホストまたはミラーリングしたいと考えているのです。」
彼らは仕事に臨む際に、常に最善の態度をとっているわけではない。スコット氏のウェブサイトにはこう記されている。「彼らはデジタル歴史を保存してほしいという丁寧な要請の範囲をはるかに超える、無礼で粗野な態度を取り、本来であればアクセス不可能だったかもしれないデータを取得・抽出するために、様々な手法を用いてきた。」
最も重要なのは、アーカイブチームが成果を上げていることです。例えば、2009年にYahooがホスティングサービスの終了を発表した後、アーカイブチームはジオシティーズから1テラバイトのデータを救出しました。チームはそのデータをトレントファイル化し、パイレートベイにアップロードしました。現在では、多くのパイレートベイユーザーがそのデータをホストしています。
ジオシティーズのミッション
ジオシティーズ・プロジェクトは、チーム最大の功績と言えるでしょう。ジオシティーズは1995年に開業し、人々に独自のウェブページを作成してもらい、それをホストしていました。1999年1月にヤフーが数十億ドルでジオシティーズを買収した当時、ジオシティーズはウェブ上で2位か3位の訪問者数を誇るサイトでした（尋ねる人によって異なります）。2009年10月26日、ヤフーがジオシティーズの米国支社を閉鎖した時点でも（Wikipediaによると、ジオシティーズの日本支社は現在も営業しています）、ジオシティーズはインターネット上で218位の訪問者数を維持していました。明らかに、多くの人がジオシティーズにコンテンツを保存し、管理していたのです。
しかし、当時のYahoo!はユーザー生成コンテンツ事業への関心を失いつつあり、ひっそりと撤退を発表しました。そこでアーカイブチームが登場。サイトのコンテンツをすべてダウンロードするのに100人ほどのスタッフが約6ヶ月かかりましたが、彼らはそれを成し遂げました。
スコット氏によると、当初Yahoo!のサーバーはアーカイブチームのメンバーに1時間あたり約12メガビットのコンテンツしかダウンロードできなかったという。そこでチームは、サイトがGoogleのボットにも同じ制限を設けているかどうかを確認したところ、制限はかかっていないことがわかった。「そこで、エージェント全員の名前を『not-the-googlebot』に変更したところ、彼らは望むだけ速くデータをダウンロードできるようになりました」とスコット氏は語る。
デジタル歴史の保存
ジオシティーズは、デジタルコンテンツを消滅から守ることがなぜ重要なのかを示す有益なケーススタディです。スコット氏は、インターネットには「デジタル歴史」があり、それは単に廃棄するのではなく、将来の研究のために保存されるべきだと指摘します。「ヤフーは最短時間で最大限の歴史を破壊する方法を見つけた」とスコット氏は当時述べました。
スコット氏は、データを保存する実用的な理由があると述べています。ジオシティーズのページには膨大な量のユーザーデータが含まれており、その中には価値あるものもある可能性があります。スコット氏は、あるジオシティーズのユーザーが90年代の特定のコンピュータの専門家でもあり、そのコンピュータに関する知識をすべてジオシティーズのサイトに保存していた例を挙げています。その知識は他のどこにも存在しない可能性があり、ジオシティーズのサイトが保存されていなければ、その知識は存在しなくなっていたでしょう。
保存には個人的な側面もあります。例えば、ジオシティーズのページを使って、1981年に生まれ1983年に亡くなった息子のオンライン慰霊碑を作った母親のケースを考えてみましょう。思いやりのないホストが無礼にもサーバーから削除してしまったら、オンラインの慰霊碑をどうやって元に戻せばいいのでしょうか？他の場所に記録されていなかった息子の人生の詳細や親の思い出は、永久に消えてしまうでしょう。
成功
GeoCitiesはアーカイブチームにとってほんの始まりに過ぎませんでした。スコットと彼のチームは、閉鎖寸前でユーザーデータを持ち去ると脅迫している他のサイトの存在を知り始めました。
- Yahoo Video がサービス終了を発表したとき、チームはサイト上の 10 TB のビデオをすべてキャプチャしてアーカイブしました。
- イタリアのウェブホストSplinderが昨年11月にサービスを停止すると発表した後、チームが介入し、130万件のユーザーアカウントを救出した。
- 2011年にフレンドスターがサービスを終了し、ユーザーデータを削除することを決定したとき、チームは迅速に動員され、約2,000万のユーザーアカウント、約14TBのデータを捕獲することに成功しました。
- フォーチュンシティが今年4月30日にサービスを停止すると発表したとき、スコット氏とそのチームはすぐに行動を起こし、サイトから約1テラバイトのデータをダウンロードした。
リストはまだまだ続きます。
アーカイブチームは、データ削除がもたらす危害について人々に考えさせ、議論を促すだけで、保存を促進することに成功したことがあります。その好例がこれです。GoogleがGoogleビデオの閉鎖を決定したことで、ユーザーがアップロードした数千本の動画が削除の危機に瀕しました。しかし、アーカイブチームがGoogleビデオの動画を大量にダウンロードする準備を始めたところ、Googleはそれを察知しました。社内で状況を検討した後、計画を見直し、最終的に動画コンテンツを削除するという決定を撤回しました。代わりに、Googleは動画を自社サーバーに残し、ユーザーが自分の動画をYouTube動画に変換する機会を提供しました。
「ユーザーコンテンツを完全に管理されていない、透明性のないホスティングという考えは、本当に終わりにすべきです」とスコット氏は言う。「しかし、それまでは、議論が終わらないため、私たちは物事を偽造しているだけです。」
スコット氏は、映画、音楽、ソフトウェアをアーカイブするインターネット・アーカイブに勤務しています。また、インターネット黎明期に遡るウェブページのアーカイブを維持するウェイバック・マシンの本拠地でもあります。スコット氏はインターネット・アーカイブのシェアウェア・コレクションの規模拡大に取り組んでおり、現在では約1,000枚のシェアウェアCDが収蔵されているとのことです。
インターネット・アーカイブには、スコットがやりたいと思っていたような投機的なデータ収集に対応できる人員が不足していたため、彼はその活動をサイドプロジェクトとして進めています。しかし、スコットによると、インターネット・アーカイブは、スコットが閉鎖されたウェブサイトから復旧したデータの一部をホスティングまたはミラーリングするためにサーバースペースを寄付してくれた多くの組織の一つだそうです。
スコットはニューヨーク市の北に住んでおり、勤務先であるArchive.orgがあるサンフランシスコとニューヨークを行き来しながら生活しています。
