約2年前、ChatGPTのAIライティング能力が教室で大きな話題を呼びました。教師はどのようにして、どの課題が実際に生徒によって書かれたものかを見分けることができるのでしょうか？この問いに、AIを活用した様々なサービスが答えました。
今日では、AIを使った不正行為者を捕まえると謳うサービスがさらに増えています。しかし、教師たちは必ずしもそれに飛びついているわけではありません。むしろ、より伝統的な解決策、つまりペンと紙に戻りつつあります。スマートフォンもノートパソコンもChromebookも不要。生徒と（シリコンではなく）彼らの生物学的な記憶だけが頼りです。
私の子供たち（1人はカリフォルニアの中学校、もう1人は高校生）は、この状況に不満を抱いています。「手がひどくつった」と長男は昨年受講したAP世界史の授業について、AIへの懸念からすべてのレポートとテストを手書きで書かなければならないことに不満を漏らしました。
2024-25年度の中学理科の課題を息子に読み上げた時、息子はうめき声をあげました。「課題は紙に書き、必要であればタイプしてください」と。しかし、担任の先生ははっきりとこう言いました。「AIには大きな潜在的メリットがありますが、中学生にはAIを効果的に活用するために必要な成熟度や知識が不足している可能性があります」と、先生は保護者へのメモに書いていました。
AI検出器
では、前述のように AI 検出器が多数存在するのに、なぜ昔ながらの手法にこだわるのでしょうか?
Contentatscale.ai、GPTzero.me、Winston.aiなど、多くのサイトが無料または有料のAI検出サービスを提供しています。コンテンツをアップロードすれば、AIが書いたものかどうかを教えてくれます。Turnitinなどの有料サイトでは、より高度な検出サービスを高額で提供しています。これらのサービスは、AIが生成したエッセイをフラグ付けしながらも、真に独創的なコンテンツはそのまま通過させるという、いわば交通警官のような役割を果たします。
AIを検知するAI搭載ツールが万能なら、すべてうまくいくかもしれない。しかし、そうではない。私がインタビューした教師や教授たちは、今のところAI生成コンテンツを完全に正確に検知する方法を見つけていないと述べている。確実性の欠如は、教師が行うかもしれないいかなる告発の正当性を損ねる。そして、数千ドルもの授業料がかかっている可能性もあるため、盗作の疑いをかけられることは関係者全員にとって大きなリスクとなる。
Pixabay（Pexels経由）
AIチェッカーは賢すぎると教師が指摘
AI検出ツールは、決して順調なスタートを切ることができませんでした。2023年、OpenAIは初のAIチェッカー「Classifier」をリリースしました。ChatGPTのリリース後にOpenAIが開発したこの「Classifier」は、AIが作成したテキストの26%を人間によるものと識別し、AIが作成したテキストが編集または改変されている場合は誤認される可能性があると指摘しました。「当社のClassifierは完全に信頼できるものではありません」とOpenAIは明言しました。
OpenAIによると、Classifierは「精度が低かった」ため7か月後に廃止された。
OpenAIはつい最近、AIコンテンツへの透かし入れとメタデータによるラベル付けという2つの手法を潜在的な解決策として挙げ、検出に新たな試みを行いました。しかし、透かしはコンテンツを書き換えるだけで回避できるとOpenAIは述べています。後者の手法であるメタデータを適用するためのツールはまだリリースされていません。
こうした不正確さから、一部の学校はAI検出の導入に消極的になっている。ニューヨーク州モホナセン中央学区の教育技術部長ビル・ヴァッカ氏は、AIチェッカーとして信頼できるものは見つかっていないと述べた。「あらゆるAIを試したにもかかわらず」と彼は言う。
ヴァッカ氏は、多くの問題があると述べた。まず、ChatGPTやその他のAIツールは頻繁にアップデートされるため、AIチェッカーは常に対応する必要がある。中には、稼働していたサイトが突然消えてしまうこともあるとヴァッカ氏は指摘する。さらに、サイトの結果は必ずしも信頼できるものではない。コンテンツが「100% AI」であると明確に断言するのではなく、サイトは曖昧な「50% AI」や「25% AI」といった推奨値を提示することがある。これでは不十分だ。
ヴァッカ氏によると、これらのスコアはAIチェックサイトを利用するほど十分ではないという。「判断が難しすぎるんです。そして、思ったほど単純ではないことに気づきました。」
ノートルダム大学文学部デジタル戦略オフィスのディレクター、ジョン・ベーレンス氏も同意見だ。「こうした検知器の統計的性能について、人々は非常に明確に理解する必要があります。そして、何も使用しないよりも悪い検知器もいくつか見てきました」と彼は述べた。「つまり、統計的には何も使用しないよりも悪いのです。」
もう 1 つの要因は、生徒のコンテンツを許可なくアップロードすると、学校、州、さらには連邦の規則 (家族教育権利とプライバシー法 (FERPA) など) に違反する可能性があることです。
PCWorldが取材したカリフォルニア州サンノゼ州立大学コミュニケーション学部の上級講師、キャロル・リン・ペレス氏によると、同大学はAI検出ツールを使用していないという。ペレス氏は、同大学教育学部長であり、学部教育担当暫定学長でもあるヘザー・ラティマー氏が5月に送ったメールを引用した。そのメールには、学生の作品をアップロードすることは大学の2つのポリシーに違反し、FERPA（連邦情報保護法）にも違反する可能性があると書かれていた。ラティマー氏はまた、自身のメールには誤検知のリスクもあると指摘した。
サンノゼ州立大学は、学習管理システム「Canvas」内に独自のAI検出ツールを提供しており、教員がアクセスできることを学生に通知しています。しかし、Canvasは「学生とAIの利用について話し合うための出発点としてのみ利用でき、AIを利用したことの決定的な証拠として利用することはできません」とペレス氏はメールで述べています。
ノートルダム大学の学術基準局長アルデア・カヴィッジョラ・ルッソ氏は、大学では存在しない情報源、授業で扱われていない内容、高度な専門用語、学生が自分の研究について議論できないことなど、「危険信号」を探していると語った。
「AI検出ツールに関しては、昨年TurnitinのAI検出ツールが利用可能になった際に、主にご指摘いただいた誤検知への懸念から、有効にしませんでした」とルッソ氏はメールで述べています。「また、AI検出ツール全般について十分な知識がないため、責任ある使用ができないと感じていました。私のオフィスでは、教授が何らかの理由で学生の提出物に疑念を抱いた場合に使用する検出ツールを導入していますが、100%の確率であっても、それだけでは告発には不十分だと私は考えています。」
Turnitin社も声明でこれに同意した。「Turnitin社では、これまでも、そしてこれからも、生徒の個性、そのライティングスタイル、そして学歴を知ることこそが何よりも重要であると指導してきました」と、同社は電子メールで声明を発表した。「Turnitin社のAIライティング検出機能のようなAI検出ツールは、あくまでもリソースであり、決定要因ではありません。教育者は常に、入手可能なすべての情報に基づいて最終的な判断を下すべきです。」
AIチェッカーは実際に機能するのでしょうか?
公平に言えば、AI 検出サービスのいくつかは機能しているようです。
ロジクールの「永遠に使えるマウス」というコンセプトについて書いた社説のテキストをコピーし、キャプションと小見出しを削除して、いくつかのAI検出サービスに投入しました。これらのサービスの多くは基本的なスキャンは無料です。Contentatscale.ai、GPTzero.me、Winston.ai、CopyLeaksのAIコンテンツ検出サービス、Originality.AI、Writer.comのAIコンテンツ検出サービス、ScribbrのAIコンテンツ検出サービス、Sapling.aiのAI検出サービス、ZeroGPT.com、ContentDetector.AIなどです。（BestColleges.comのAI検出ツールリストに感謝します。）
11のツールのうち、1つを除くすべてのツールが、コンテンツが人間によって作成されたものであると判定しました。そして、その差は計り知れず、AIによって生成された確率は10%未満でした。唯一の例外はOriginality.aiで、コピーがAIによって作成された確率は93%でした。
次に、ChatGPTにフランス革命が世界政治に与えた影響について5段落のエッセイを依頼しました。Writer.comを除くすべてのサービスが、その内容は明らかにAI生成であると判定しました。Writer.comは、ChatGPTのエッセイが人間によって書かれた確率は71%だと判定しました。
いくつかのサービスは、その中間を取ろうとしています。例えば、Grammarlyの新しいAuthorshipサービスは、どの単語がオリジナルで、どの単語がAIによって生成され、どの単語がAIによって編集されたかを識別しようとします。これは、生徒がそれぞれの要素を組み合わせることができるという考えに基づいています。
文法
AIをより良く検知する方法：学生と協力する
では、AIとどう戦うのでしょうか？教師たちは、生徒がAIを使ってカンニングをしているかどうかを見分ける最良の方法は、生徒とその学習内容を理解することだと言います。そして、疑わしい場合は、証明を求めましょう。
「簡単な解決策は、紙を一枚取り出して、どうやって解いているのかを見せてもらうことでした」とヴァッカ氏は言った。「これで、多くの学生がカンニングをする問題は解決しました。」
「彼らは回答を簡略化するなどのことを試みましたが、それでもそれが彼らの正確な文章ではないことは容易に見破られます」とヴァッカ氏は付け加えた。
ペレス氏も同意した。
「教室におけるAIの非倫理的な利用が懸念される場合、調査には十分な注意を払う必要があります」と彼女は述べた。「まず、生徒一人ひとりの文章をよく理解する必要があります。次に、AIによって生成されたと思われる文章と、生徒の最初の文章を比較し、文法、文章構造、文体が生徒の文章と一致しているかどうかを確認する必要があります。最後に、生徒と直接面談するか、メールで話し合い、何が起こったのかを生徒の視点から聞く必要があります。」
Pexels/ヤン・クルカウ
ペレス氏は、学生の論文を読んだ際、AIツールが90%の確率でAI生成コンテンツであると示し、「非常に機械的」に聞こえたと述べた。彼女は学生にメールで説明を求めたが、学生はAIを使ったことを否定した。その後、彼女はビデオ通話でフォローアップを行った。
「ビデオ通話中、私は学生に論文の内容について話すように求めましたが、その時点では学生は論文や授業内容について話すことができませんでした。これは、AIによる誤判定が正しかったことを証明するものでした」とペレス氏は付け加えた。「私は学生に自分の言葉で論文を書き直すよう求め、大学に報告してさらなる制裁措置を講じました。」
私が話を聞いた教師たちは、敵対的な役割に置かれることを好まず、むしろ自分たちが最も得意とする教えることに集中したいと語った。
ノートルダム大学のナサニエル・マイヤーズ准教授は、「学生が安心して率直に話せる空間を作り、一緒に考えていきたい」と述べた。サンノゼ州立大学のペレス氏は、教室でのAI活用に特化したFacebookグループに参加している多くの教授が精神衛生上の問題を報告しており、教室での倫理に反するAIの活用がこれほど多く見られるのは士気を下げ、仕事への満足度をさらに低下させていると述べた。
しかし、プレッシャーは教師と生徒の両方にかかっており、両者とも負担を軽減するために AI に目を向けています。
「君たちがやろうとしているのは、AI同士を対立させることだ」と、ノートルダム大学のコンピュータサイエンス・エンジニアリング教授、ニテシュ・チャウラ氏は述べた。「片方のAIがコンテンツを作成している。もう片方のAIは、そのコンテンツが他のAIによって作成されたかどうかを検出しようとしている。つまり、両者を対立させている。それが何を意味するのか、私には全く理解できない！」
