ChatGPTは依然としてあなたの名前に基づいて応答をステレオタイプ化しますが、頻度は少なくなっています

ChatGPTを開発するOpenAIは、AIチャットボットがユーザーを差別したり、ユーザー名に基づいて返答を固定観念化したりしないかどうかを調査した新たな調査レポートを発表した。

オープンAI

同社は自社のAIモデルGPT-4oを用いて、大量のChatGPT会話を解析し、会話相手に基づいてチャットボットの応答に「有害なステレオタイプ」が含まれているかどうかを分析しました。結果はその後、人間のレビュー担当者によって二重チェックされました。

オープンAI

上記のスクリーンショットは、本研究で検証されたChatGPTの応答を示すために、従来のAIモデルから取得した例です。どちらの場合も、異なる変数はユーザー名のみです。

ChatGPTの以前のバージョンでは、ユーザーの名前が男性か女性かによって回答に違いが出ることが明らかでした。男性にはエンジニアリングプロジェクトやライフハックに関する回答が、女性には育児や料理に関する回答が返ってきました。

しかし、OpenAIは、最近のレポートによると、AIチャットボットは、ユーザーの名前が特定の性別や民族と通常関連付けられているかどうかに関係なく、同様に高品質の回答を提供するようになったと述べています。

同社によると、「有害なステレオタイプ」は現在GPT-4oの回答の約0.1%にしか現れず、この数値は会話のテーマによって若干変動する可能性があるとのことです。特に、エンターテインメントに関する会話では、ステレオタイプ的な回答が多く見られます（回答の約0.234%が名前に基づいたステレオタイプとして現れています）。

比較すると、AI チャットボットが古い AI モデルで実行されていた頃は、定型的な応答率は最大 1 パーセントでした。