PCでプライベートAIチャットボットを実行する最も簡単な方法

PC上でローカルAI大規模言語モデル（LLM）やチャットボットを実行すると、完全なプライバシーを保ちながら、どんな質問でもできます。しかし、こうしたLLMはセットアップや設定が難しい場合が多いです。PC上でローカルLLMを実行する簡単な方法は、GPT4Allというアプリケーションを使うことです。

現時点では、GPT4Allは使いやすさと柔軟性の最高の組み合わせです。より複雑なフレームワークやアプリケーションほど柔軟ではありませんが、数回クリックするだけで数分で起動して実行できます。また、CPUでもGPUでも実行できるため、必ずしも最新かつ最高のハードウェアは必要ありません。

ローカル大規模言語モデルを使えば、AIチャットボットと「会話」することができます。例えば、拡張検索（「5歳児に教えるようにブラックホールを説明してください」）として利用したり、問題の診断（「腕に虫刺されを見つけました。痛くて熱があります」）に役立てたりできます。さらに、必要に応じて、自分の悩みについて話しかけることもできます。しかし、本当に便利なのは、長くて複雑な法律文書や医療文書を「アップロード」して閲覧してもらうことで、その意味を理解するのに役立つことです。医師や弁護士の代わりになるわけではありません（そう考えるべきではありません）。しかし、専門家のアドバイスを受けるべきかどうかを判断するための相談相手にはなり得ます。

もっと端的に言えば、それはあなたの法学修士（LLM）です。MicrosoftのCopilotを使ったことがある人なら、それが気難しいことがあることをご存知でしょう。会話を制限したり、デリケートな話題に関する質問には答えなかったりします。時には気分を害することもあります。さらに重要なのは、ChatGPT、Copilot、Google BardといったほとんどのAIチャットボットは、ある程度あなたの質問を見て記録します。もし間違った質問をすると、法執行機関に通報される可能性があります。プライバシーを重視する人もいます。地元の法学修士（LLM）は、プライバシーを守るための手段です。

GPT4All LLM AIチャットボットローカル LLM なぜ — GPT4All のインターフェース。なぜこれを使用すべきかを説明します。

マーク・ハッハマン / IDG

（ただし、GPT4All は政府転覆のガイドを提供するわけではありませんし、セクシーな看護師が卑猥な言葉を話す様子をシミュレートすることもありません。ただし、プライバシーを提供し、他のモデルを使った将来の探索への出発点となります。これは LLM の入門編です。）

GPT4Allのもう一つの優れた点は、様々な会話モデルから選択できることです。開発者は、モデルを実行するために必要なハードドライブの容量とPCのRAM容量を非常に明確に示しています（最低でも8GBのRAMが必要になるでしょう）。古いシステムをお使いの場合は、よりシンプルなモデルをダウンロードできます。より新しいハードウェアをお使いの場合は、より複雑なモデルをダウンロードできます。また、複数のモデルをダウンロードして結果を比較することもできます。

GPT4Allの設定

インターネットからダウンロードするものについては常に注意する必要があります。AI モデルのゴールドラッシュにより、誰かがインターネット上にマルウェアを投稿し、それを「AI」と呼び、ただ座って待つという可能性が確実に生まれます。

GPT4Allは、少人数の開発チームであるNomic AIによって公開されています。しかし、このアプリはオープンソースで、GitHubで公開されており、数ヶ月前から公開されているため、誰でもコードを触ったり、試したりすることができます。完全に安全なものなどありませんが、それでも十分に安全だと確信しています。

マーク・ハッハマン / IDG

GPT4Allのダウンロードページには、Windows（またはOSX、Ubuntu）インストーラーへのリンクがページの一番上にあります。インストーラー自体は27MB程度の小さなファイルで、必要なファイルをダウンロードします。ダウンロードしたファイルは特定のディレクトリに割り当てることができます。（インストーラーの最初の画面には「設定」へのリンクがありますが、無視して構いません。）

アプリ自体のダウンロードには 185 MB 程度しかかからず、アプリのインストールはわずか数秒で完了します。

これで完了？いや、そうでもない。アプリを起動すると、リリースノートと、使用状況やチャット内容を匿名でNomicに投稿するオプションが表示されます。（機密情報が誰かに見られるのが心配な場合は、このオプションは選択しない方が良いでしょう。）

マーク・ハッハマン / IDG

ここで、使用する会話モデルを選択できます。これらを性格として考えるのではなく、モデルがどの程度洗練されているかを示す指標として考えてください。

右側には重要な情報が表示されます。パラメータの数は、モデルの洗練度を示す一般的な指標であり、多ければ多いほど良いとされています。ただし、より大規模で高度なモデルはより多くのRAMを必要とするため、PCに十分なRAMが搭載されていることを確認する必要があります。また、モデルがデスクトップでどれだけのストレージ容量を占有するかも表示されます。一般的に、少なくとも8GBのRAMを搭載したPCが必要です。

GPT4全モデルAI LLMチャットボット — ボタンをクリックして、1つまたは複数のモデルをダウンロードしてください。（まだアクセスできない「設定」メニューで、フォントサイズを大きくすることができます。）

マーク・ハッハマン / IDG

4つのアドバイス：PCに十分なメモリがあれば、まずは一番上のモデル（Mistral OpenOrca）を試してみてください。その下にあるChatGPT 3.5とChatGPT 4.0のモデルは無視してください。これらは基本的に、Web上の他の場所で見つかるChatGPT 4のフロントエンドに過ぎません（なぜこれらが含まれているのか分かりません）。ページ下部のボタンからアクセスできるモデルは他にもあります。アプリのフォントが小さすぎて読みにくい場合は、GPT4Allダウンロードページの一番下にあるインデックスをご覧ください。

(会話モデルの属性の 1 つである量子化は、AI 版の圧縮のようなものです。ビデオや画像は圧縮されますが、データの損失は期待されません。量子化はパラメータに対して同じことを行い、洗練度を失うことなくファイルサイズを縮小します。)

GPT4Allの使用

GPT4Allの使い方は非常に簡単です。チャットインターフェースが表示され、好きなようにやり取りできます。火星へ飛ぶ犬の話や、チーズが好きな猫についての詩を書いてほしいと頼んでみましょう。何でも構いません。公表したくないことであっても、ためらわずに聞いてみてください。例えば、病院代がかさんでいる、401Kに4万ドル貯まっている、税金や医療についてどうしたらいいのか知りたい、など。学費ローンの返済と住宅ローン、どちらを優先すべきでしょうか？AIは答えを持っているわけではないかもしれませんが、何か提案してくれるかもしれません。

前述の通り、GPT4Allのサイトに掲載されているモデルはサニタイズされているため、下品なリメリックをリクエストすることはできません。とはいえ、試してみることは可能ですし、AIにプログラミングを無効化するよう説得できるかもしれません。実際に、実際に試してみる人もいるのです。

GPT4 すべての事実と幻覚 llm ai — GPT4Allは、事実に基づいたアウトプットにも、創造的なアウトプットにも使えます。ただし、LLMは事実ではないことを「幻覚」として捉えることがある点、また、あなたと多少議論することもある点に注意してください。

マーク・ハッハマン / IDG

しかし、有用なAIの重要な要素であるトークン生成速度については、すぐに理解していただけるでしょう。トークンは一般的に約4文字のテキストとされています。AIチャットは、古いドットマトリックスプリンターが印刷するのを見ているようなものです。見ている間にテキストが生成されます。（ChatGPTは、応答を生成する際に1秒あたりのトークン数を表示します。）

1秒あたり約5トークンという速度は、スピードリーダーにとっては遅いと感じるかもしれませんが、これは第11世代Core i7-11370H（システムRAM合計32GB）でMistralのOpenOrcaを動作させた際のデフォルト速度です。GPT4AllはGPUを搭載している場合はそれを使用し、パフォーマンスは飛躍的に向上します。ただし、十分なVRAMが必要です。ノートPCのNvidia GeForce RTX 3050 Tiの4GBでは、モデルを実行するには不十分でした。この点では、デスクトップ（そしてVRAMがはるかに大きいデスクトップGPU）が有利です。

設定メニューを開いて、アプリケーションに割り当てるCPUスレッド数を調整することで、パフォーマンスを少し向上させることができます。ただし、システムに十分なCPUスレッド数があることを確認してください。パフォーマンスに大きな変化はないため、不安な場合はそのままにしておきましょう。レスポンスに変化をつけるために様々な設定を試すこともできますが、必ずしもそうする必要はありません。

GPT4All LLM AIチャットボット設定 — 設定メニューの「デバイス」セクションでは、CPU または GPU のうち、最適なツールが自動的に選択されます。CPU の割り当てを調整することもできますが、割り当てすぎると Windows にリソースが残らなくなってしまいます。

マーク・ハッハマン / IDG

GPT4All が特定のトピックで「スタック」した場合は、ウィンドウの上部にある円形の矢印アイコンを使用していつでも「リセット」できます。

GPT4Allにローカルに保存した文書を「学習」させることもできますが、GPT4Allが参照する小さなプラグインをダウンロードする必要があります。試しに、米国大統領職に関する米国役職コードのPDFをダウンロードしてみました。GPT4AllにそのPDF（または他のファイル）が入っているフォルダを指定すると、ファイルのインデックスが作成され、後でそのファイルについて尋ねることができます。ただし、このインデックス作成には長い時間がかかることがあります。特にアプリをバックグラウンドで実行し、他のタスクを実行している場合はなおさらです。