「AI」ツールは現在、従来のソフトウェアやセキュリティにそれほど精通していないユーザーの間でも大流行しており、ハッカーなどAIツールを悪用しようとする人々にとって、様々な新たな機会を生み出しています。新たな研究チームが、アップロードされた画像にプロンプト・インジェクション攻撃を隠す方法を発見しました。
プロンプト・インジェクション攻撃は、LLMなどの「人工知能」システムへの命令を、通常は人間のオペレーターが見えない場所に隠す手法です。これは、コンピュータセキュリティにおける「敗者復活」のささやきです。好例としては、背景と同じ色のプレーンテキストでフィッシング攻撃をメールに隠すというものがあります。Geminiは、人間の受信者には読めないテキストを要約してくれることを前提としています。
2人からなるTrail of Bits研究チームは、これらの指示を画像に隠すこともできることを発見しました。画像に埋め込まれたテキストは人間の目には見えませんが、アップロード用に圧縮された画像ではAIツールによってテキストが明らかになり、文字化されます。圧縮技術、そしてそれに伴うアーティファクトは目新しいものではありません。しかし、プレーンテキストメッセージを隠すことへの急激な関心と相まって、ユーザーに指示が送信されたことを知らせずにLLMに指示を送信する新たな方法が生まれました。
Trail of BitsとBleepingComputerが指摘した例では、ユーザーに画像が配信され、ユーザーがその画像をGeminiにアップロード（またはAndroidに搭載されている円で囲んで検索するツールなどを使用）すると、Googleのバックエンドが帯域幅と処理能力を節約するために画像を「読み取る」前に圧縮するため、画像内の隠しテキストが可視化されます。圧縮後、プロンプトテキストが挿入され、ユーザーの個人カレンダー情報を第三者にメールで送信するようGeminiに指示します。
比較的少量の個人データを入手するには、かなりの労力が必要です。また、攻撃手法全体と画像自体も、悪用される特定の「AI」システムに合わせて調整する必要があります。この手法がハッカーに以前から知られていた、あるいは本稿執筆時点で実際に悪用されているという証拠はありません。しかし、これは、LLMにスクリーンショットを使って「これは何ですか？」と尋ねるといった、比較的無害な行動が攻撃ベクトルに転用される可能性があることを示唆しています。
著者: Michael Crider、PCWorld スタッフライター
マイケルはテクノロジージャーナリズムのベテランとして10年のキャリアを持ち、AppleからZTEまであらゆるテクノロジーをカバーしています。PCWorldではキーボードマニアとして活躍し、常に新しいキーボードをレビューに使用し、仕事以外では新しいメカニカルキーボードを組み立てたり、デスクトップの「バトルステーション」を拡張したりしています。これまでにAndroid Police、Digital Trends、Wired、Lifehacker、How-To Geekなどで記事を執筆し、CESやMobile World Congressなどのイベントをライブで取材してきました。ペンシルベニア州在住のマイケルは、次のカヤック旅行を心待ちにしています。
