Microsoftの検索エンジンBingがGoogleに比べてあまり人気がないのは周知の事実です。そこでMicrosoftは、Bingのユーザー獲得を少しでも促進するため、自社の検索サービスがGoogleと同等、あるいはそれ以上に優れていることを示すことに着手しました。Microsoftによると、ペプシチャレンジ風のブラインドテストを行えば、人々はGoogleよりもBingを好むそうです。
こうして「Bing It On」キャンペーンが誕生しました。これは、マイクロソフトが「約1,000人の参加者」を対象に行ったブラインドテストで、参加者がGoogleよりもBingを2対1で好むという結果を得たことに基づいています。このメッセージをより明確に伝えるため、マイクロソフトは大規模な広告キャンペーンを展開し、誰でもBingチャレンジに参加できるBingItOn.comというウェブサイトを立ち上げました。
マイクロソフトの主張は面白かったが、イェール大学の経済学者で法学教授のイアン・エアーズ氏には受け入れがたいものだった。火曜日、この善良な教授はマイクロソフトに対する不正行為を非難した。
「2対1という主張は信じ難い」とエアーズ氏はフリーコノミクスのブログに書いた。「人々が2つの結果を区別するのは難しいだろうし、ましてや2対1という結果を好む人などいないだろうと思っていた」
自分の考えが正しいかどうかを調べるため、エアーズ氏は 1,000 人の Mechanical Turk 作業者 (マイクロソフトのオリジナルの Bing 調査と同程度のサンプル数) を対象に、Bing It On サイトを使用してマイクロソフトの結果を再現できるかどうかをテストしました。
一気見
新興の（そして完全に作り話の）「サーチロジー」分野の科学者なら誰でも知っているように、いかなる実験結果も、再現できなければ事実として受け入れることはできません。では、人々がBingとGoogleのどちらを好むかは、絶対的な事実として言えるのでしょうか？ついにビッグBing理論を構築するのに十分なデータが集まったのでしょうか？
エアーズ氏によると、そうではない。彼は、ほとんどの人が自分の好きなように操作できる場合、実際にはBingよりもGoogleを好むことを発見した。彼は、Bing It OnサイトでBingが提案した検索語句を検索した場合、BingとGoogleの検索結果に対する好みはほぼ同程度であることを発見した。しかし、ユーザーが自分の検索語句を使ったり、ウェブで最も人気のある検索語句のリストから抽出した語句を使ったりできる場合、結局は「G」が圧倒的に優勢だった。
エアーズ氏は、研究の後半部分は「マイクロソフトが、Bing を優先する結果を生み出す可能性が高いと分かっている検索候補の単語を選択したことを示す」と主張している。
エアーズ氏はブログ記事全体を通して、マイクロソフトがBing It Onの広告で誤解を招くような行動を取っていると示唆している。エアーズ氏によると、問題は、BingItOn.comでBingチャレンジに参加した500万人以上の人々の結果をマイクロソフトが公表していないことだ。その結果が、マイクロソフトの当初の調査結果と一致するかどうかは、BingItOn.comでBingチャレンジに参加した500万人以上の人々の結果とマイクロソフトの当初の調査結果が一致するかどうかは、マイクロソフトがまだ公表していないことだ。
「Bingを2:1で好んでいると謳いながら、Bing-It-Onチャレンジに参加した何百万人もの人々に加わろうという広告は誤解を招く」とエアーズ氏は記している。「もし私たちの調査結果のように、何百万人もの人々がBingをほぼ2:1の割合で好んでいないのであれば。」
エアーズ氏はさらに、「グーグルはマイクロソフトに対して、多額の金銭的価値があると思われる欺瞞的な広告の申し立てをしている」と主張している。
ビンジ・イット・オン・レッドックス
マイクロソフトは、法的責任の申し立てを黙って受け入れるような企業ではありません。特にGoogleに関しては。エアーズ氏の投稿が公開された直後、マイクロソフトは反撃に出ました。Bingチャレンジに参加した何百万人もの人々の結果は、マイクロソフトの調査結果と一致するのでしょうか？
問題はこうだ。マイクロソフトには全く理解されていない。同社はBing It Onサイトでのユーザーの検索結果を追跡しなかった。それは倫理に反する行為だったからだ、とBingの行動心理学者マット・ワラート氏はBing Searchブログに記している。
何だって？オンライン企業が倫理的な理由でユーザーデータを追跡しなかったなんて？これは一体どういうことなの？「BingItOn.comを訪れる人は、調査に参加することに同意しているわけではありません。楽しいチャレンジを求めて来ているのです」とワラート氏は書いている。「これは管理された環境で行われているわけではありません。…ですから、私たちは彼らの結果を追跡しません。追跡自体が極めて非倫理的だからです。」
ワラート氏はその後、エアーズ氏の調査結果をさらに批判し、エアーズ氏の結果は、時事ニュースのトピックに関する結果の提供においてはBingの方がGoogleより優れていることを証明する可能性があるとさえ示唆している。
全部まとめて見る
言い争いのブログは笑いの種にはなりますが、現実にはBingとGoogleのどちらを好むかは、ブラインドテストの有無に関わらず、個人の好みによるところが大きいです。もはや小さな青いリンクばかりを検索している人はいません。インターフェース要素、モバイル機能、ソーシャルネットワーキングとの連携、プライバシーへの配慮、位置情報に基づいた検索結果など、どちらかの検索エンジンを好む理由は多岐にわたります。（例えば、Bingは最近モダンに生まれ変わり、よりスマートな検索結果を実現しました。）
それでも、検索に究極の真実があるのかどうかを探るために、検索学者になりたい方は、エアーズ氏の研究をご覧ください。MicrosoftのBingテストの方法論についてもぜひ読んでみてください。
