2023 年夏以降、AI 企業 Open AI のクローラーが Web サイトを読み取って人工知能 ChatGPT の一部にすることを防ぐことができます。ChatGPT は https://chat.openai.com、Microsoft の www.chat.bing.com、およびさまざまな Microsoft 製品で見つかります。
クローラー禁止の利点: AI クローラーからの保護により、Web サイト上のテキストと画像は、将来 ChatGPT 人工知能のトレーニングに使用されなくなります。
ただし、ChatGPTのナレッジベースからコンテンツが削除されることはありません。また、他のプロバイダーのAIクローラーは、当面の間、この禁止措置を遵守しません。Open AIは、これまでのところ、クローラー禁止措置の遵守を約束した最初の、そして唯一の企業です。
仕組み：クローラーをブロックする古典的な方法があります。Webスペースのルートディレクトリにrobots.txtという名前のシンプルなテキストファイルを保存します。robots.txtには、ウェブサイトでブロックしたい内容を指定します。例えば、次のように記述します。
User-agent: GPTBot Disallow: /ファイル内では、スキャン禁止はOpen AI（GPTBot）のクローラーのみに適用されます。ウェブサイト全体（/）へのアクセスが拒否されます。ただし、クローラーがウェブサイト上の特定のフォルダにアクセスできるようにし、他のフォルダへのアクセスを拒否することもできます。これは以下のようになります。
User-agent: GPTBot Allow: /Folder-1/ Disallow: /Folder-2/ 「Folder-1」と「Folder-2」を、保護または許可するフォルダの名前に置き換えます。すべてのクローラーをブロックする場合、robots.txtは次のようになります。
User-agent: * Disallow: / robots.txt に関する情報は、Open AI および Google で見つかります。
重要：一般的に、クローラーはrobots.txtの指示に従うものと想定されています。しかし、技術的には、このファイルには保護機能がありません。悪意のあるプログラマーは、クローラーにrobots.txtを無視してウェブサイトのコンテンツを検索するように指示する可能性があります。
robots.txtでクローラーをブロックする代わりに、ウェブサイトの重要な部分をパスワードで保護することもできます。その場合、訪問者はパスワードを入力する必要があります。
IDG
より安全に：特に重要なコンテンツをAIやその他のクローラーから保護したい場合は、ウェブサイトの該当部分にパスワードを設定し、アクセスデータを許可された人にのみ渡すことも可能です。デメリット：
ウェブサイトのこの部分は、一般公開されなくなりました。アクセス保護は、.htpasswdファイルと.htaccessファイルで制御できます。.htpasswdファイルには、ユーザー名と暗号化されたパスワードが含まれています。
さらに読む: PCでローカルに実行できる9つの無料AIツール
.htaccess ファイルは、パスワードで保護するフォルダまたはファイルと、サーバー上の .htpasswd ファイルの保存場所を定義します。ファイルの内容については、こちらをご覧ください。
この記事はドイツ語から英語に翻訳され、元々はpcwelt.deに掲載されていました。
この記事はもともと当社の姉妹誌 PC-WELT に掲載され、ドイツ語から翻訳およびローカライズされました。
著者: Arne Arnold、PCWorld 寄稿者
アーネ・アーノルドは30年以上にわたりIT業界で活躍し、その大半をITセキュリティ分野に注力してきました。ウイルス対策ソフトウェアのテスト、Windowsのセキュリティ強化に関するヒントの提供に加え、Windowsに最適なセキュリティツールを常に模索しています。現在は新たなAIツールを試用し、それらが私たちの未来にどのような影響を与えるのかを探っています。
