Bing Chatにもっとクリエイティブに頼むと精度は下がる

MicrosoftのBing Chatは、ユーザーがチャットの応答をよりクリエイティブに、バランス良く、あるいはより正確に設定できるオプションの提供を開始しました。ただし、注意が必要です。「クリエイティブ」オプションを選択すると、Bing AIチャットボットの精度は低下し、より楽しい応答が求められるようになります。

マイクロソフトは先週末、Bing Chatの新しい応答オプションの展開を開始しました。（記者はまだ個人アカウントでアクセスできません。）マイクロソフトのデザイン＆リサーチ担当コーポレートバイスプレジデント、マイク・デイビッドソン氏がスクリーンショットを共有しました。

マイクロソフトは、Bingの中核機能と見なしている「ウェブの副操縦士」とのバランスを取ろうとしているようだ。それが具体的に何を意味するのかはこれまで明確にはなっていないが、当初マイクロソフトはBing Chatを従来の検索エンジンを補完するツール、つまり様々なサイトから取得した結果を要約し、ユーザーが自ら検索結果を探す手間を省くツールとして想定していたようだ。物語を語ったり詩を書いたりといったクリエイティブな要素は、どうやらおまけのようなものと捉えられていたようだ。

マイクロソフトにとって不運だったかもしれないが、ユーザーはライバルのOpenAIのChatGPTの機能を基盤として、こうした独創的な要素に飛びついた。ジャーナリストやテスターがBingの限界に挑戦し始めた結果、脅迫や人間関係に関する奇妙な質問など、奇妙な結果が出た。これに対し、マイクロソフトは厳しい取り締まりを行い、返信を制限し、Bingのより面白い返答を事実上ブロックした。

マイクロソフトは、Bingのより創造的な衝動を、追加のコントロールによって蘇らせようとしているようだ。しかし、私がデイビッドソン氏に尋ねたところによると、どうやらそれには代償が伴うようだ。大規模な言語モデルは時に「幻覚」（作り話）を起こし、誤った事実を捏造することがある。これは、多くの記者がChatGPTなどのチャットボットに綿密なクエリを実行した際に気づいている。（おそらくこれが、Bing Chatが脚注で情報源を引用している理由の一つだろう。）

私はデイビッドソン氏に、創造的モードや正確なモードが回答の事実上の正確性に影響を与えるかどうか、あるいは Bing は代わりにより創造的または事実に基づいた口調を採用するかどうかを尋ねました。

デイビッドソン氏が言いたいのは、よりクリエイティブな回答を選択すると、Bingが情報を捏造するリスクがあるということです。一方、「クリエイティブ」トグルは、絶対的な正確さが優先されない、よりクリエイティブなアウトプットのために設計されていると考えられます。

念のため、説明を求めました。デイビッドソン氏はさらに、ユーザーが完全に正確な回答を求めると、創造性が犠牲になると述べました。不正確さを理由に創造的な回答を排除することは、本来の目的に反します。しかし、いずれ状況は変わるかもしれません。

つまり、Microsoftは選択を迫られているということです。そして、あなたも選択を迫られることになります。Bing Chatを検索アシスタントとして使いたいのであれば、「正確」オプションを選びましょう。創造性を重視し、Bingが表示するトピックが完全に正確かどうかはそれほど気にしないのであれば、「クリエイティブ」オプションを選びましょう。もしかしたら、将来的にはこの2つが融合するかもしれません。

著者: マーク・ハッハマン、PCWorld シニア編集者