GmailのAIサマリーがフィッシング詐欺に悪用される可能性がある

Googleは自社の「AI」をあらゆる製品に一気に押し込もうとしている。検索、Android、Chromeを使うたびに、Geminiの何らかのバージョンを試すように促される。しかし、Googleの大規模な言語モデルにGmailのメッセージを要約させるのは、少し待った方がいいかもしれない。どうやら、このモデルを使ってフィッシング詐欺を仕込むのは簡単らしい。

Google Gemini for Workspace には、Gmail インターフェースを使用してメール本文を要約する機能が搭載されていますが、必ずしも実際の G​​mail アドレスを使用する必要はありません。Mozilla の 0din AI バグ報奨金プログラムに提出された脆弱性（BleepingComputer が発見）により、このシステムを簡単に回避する方法が発見されました。メールの末尾に白地に白のフォントでテキストを隠すだけで、読者には実質的に見えなくなります。リンクや添付ファイルがないため、通常のスパム対策は適用されません。

次に何が来るかは、おそらくご想像の通りでしょう。この「見えない」テキスト内の指示に従って、Gemini は自動生成した要約を生成し、ユーザーにパスワードが漏洩したことを警告します。特定の電話番号に電話してパスワードをリセットするように指示します。この仮想シナリオでは、電話の向こう側には個人情報窃盗犯が待ち構えており、あなたのメールアカウントやそれに関連する可能性のあるその他の情報を盗もうとしています。テキスト内に隠された「管理者」タグにより、Gemini は要約にこのテキストをそのまま含めることができます。

現時点ではこれはあくまで理論上の攻撃であり、本稿執筆時点では「実環境」で確認されていないことに注意が必要です。Geminiの「このメールを要約する」機能は現在、Workspaceアカウントでのみ利用可能で、一般ユーザーは利用できません。（10億人か20億人のGmailベーシックユーザーでこの機能をオンにすれば、Googleの強力なデータセンターの巨大ハードウェアでさえ過負荷になる可能性があると想像できます。）

しかし、大規模言語モデルによって生成されたテキストを、たとえそれが宗教的妄想や人種差別的なマニフェストの真っ只中にいるように見えても、ユーザーが容易に信じてしまうという事実は、控えめに言っても懸念すべき事態です。スパマーやハッカーは既に、LLMや関連ツールを利用して、より効率的に影響力を拡大しています。ユーザーがAIに仕事や思考を代替させるよう依存度が高まるにつれ、これらのシステムがより効果的かつ定期的に侵害されることはほぼ避けられないでしょう。

著者: Michael Crider、PCWorld スタッフライター