オンライン試験でChatGPTの不正行為を防ぐ方法
AIを使った不正行為を完全に防ぐ単一のツールは存在しません。問題設計、公正性のシグナル、フォローアップを組み合わせることで、不正を困難にし、リスクに見合わないものにできます。
まず、効果のない方法について
安易な解決策はAIテキスト検出ツールです。エッセイを貼り付けると、割合が表示されます。しかし、これらのツールが示すのは証拠ではなく確率にすぎません。特に短い回答や非ネイティブスピーカーの文章を人間が書いたものでないと誤判定することがあり、少し言い換えるだけで見破れなくなります。OpenAI も精度が低すぎるとして、2023年に自社の AI テキスト分類器を撤回しました。検出ツールのスコアだけを根拠に学生を告発することは不公平であり、正当化するのも困難です。
デバイスを禁止するだけでは不十分です。オンライン試験では、チャットボットは別のタブを開くだけで使えます。また、ウェブカメラだけでは、別のウィンドウで何が表示されているかは分かりません。
1. チャットボットが苦手とする問題を作る
問題設計は、最も効果的で、最も低コストな対策です。チャットボットは一般的な教科書的な質問への回答は非常に得意ですが、特定の文脈に結びついた質問は苦手です。
自分のクラスについて質問する
配布したディスカッション、実験、地域の事例、データセットを参照させましょう。チャットボットが知っているのは教科書の内容であり、先週の火曜日に教室で何が起きたかではありません。
答えだけでなく過程を問う
手順を示させたり、選択の理由を説明させたり、誤りを含む解答を批評させたりしましょう。推論の過程をルーブリックで採点します。
画像、図、データを活用する
作成したグラフ、写真、表に基づく問題は、チャットボットに素早く貼り付けることが難しくなります。
個人的な内容にする
学生に、その概念を自分の経験、プロジェクト、以前の取り組みと結びつけさせましょう。
短く、時間制限を設ける
適度な制限時間があれば、コピー、貼り付け、プロンプト入力、書き直しを行う余地はほとんどなくなります。
音声または動画での回答を求める
学生自身の声による口頭の回答は、入力された文章よりもはるかに外部に委託しにくくなります。
2. 回答の書き方を観察する
実際の回答は、入力し、手を止め、編集し、言い換えられるものです。コピーされた回答は、多くの場合、一度か二度の大きな貼り付けで現れます。不正対策ツールは、試験中の貼り付けをブロックし、発生時に記録し、書いているというより転記のように見える入力パターンの回答にフラグを付けることができます。タブの切り替えや全画面表示の解除は、文脈を補います。完璧な段落が現れる直前に2分間試験画面から離れていた場合は、確認する価値があります。
これらは証拠ではなく、あくまでシグナルです。テキストエディタで書いてから、正当な理由で貼り付ける学生もいます。フラグは判定ではなく、話し合いのきっかけとして扱ってください。
3. フォローアップの質問をする
最も古典的な不正確認方法は口頭試問です。自分が書いた内容を説明させるものです。理解は、リアルタイムで偽装することが難しいため有効です。教員がすべての学生にこれを行う時間はめったにありませんが、AIは学生自身の回答について短い口頭の質問を一つ行い、その返答を評価できます。論文を書いた学生は容易に答えられますが、貼り付けた学生は通常答えられません。
4. クラス全体で回答を比較する
同じチャットボットのプロンプトを使ったり、回答を共有したりする学生は、驚くほど似た答案を提出することがよくあります。珍しいペアを一覧表示する類似度レポートを使えば、すべての論文を並べて読まなくても、数秒で把握できます。
5. 重要度に応じてカメラ監視を使う
期末試験や資格試験では、カメラによる確認が、スマートフォン、メモ、代理受験者に対する実効性のある抑止力になります。映像をデバイス上で解析し、フラグの付いた場面のみをアップロードし、判断を人に委ねる、プライバシーに配慮した方式を選んでください。その仕組みについては、こちらで説明しています: スパイウェアなしのAI試験監視:オンデバイス監視の仕組み
6. ルールを明確にする
多くの学生は、何が許可されているのか確信を持てずにいます。指示文に明確に記載してください。このテストでAIツールが許可されているかどうか、どのツールが許可されているか、ルールに違反した場合にどうなるかを示します。AIの支援が許可されている場合は、学生にどのように利用したかを説明するよう求めてください。明確なルールは、どの検出ツールよりも多くの問題を防ぎます。
FormRead Onlineができること
- ライトからストリクトまでの不正対策レベル:全画面表示、タブ切り替え、貼り付けのチェック、そして必要に応じたデバイス上でのカメラチェック。
- 自由記述回答に対する貼り付けの集中や入力パターンのフラグ付け。
- 論述問題の後に、ルーブリックに基づいてAIが行う口頭フォローアップ質問です。
- 回答が不自然なほど似ている場合の不正行為(共謀)レポートです。
- 音声および動画による回答を、AIが文字起こしして採点します。
- 問題プール、問題順のシャッフル、制限時間により、同じ試験を受ける受験者が一人もいないようにします。
- 同じ試験を紙に印刷し、スマートフォンで採点するオプションです。
近々オンラインで試験を実施しますか? FormReadオンラインは、すべてのプランにこれらの不正防止ツールを含み、試験ごとの料金はかかりません。
FormReadオンラインを見る記述式回答の採点も、業務のもう一つの大切な部分です。紙とオンラインそれぞれで、ルーブリックを使ったAI採点の仕組みは次のとおりです。 紙試験の自由記述・論述問題向けAI採点
よくある質問
AIテキスト検出ツールで、学生がChatGPTを使ったことを証明できますか?
いいえ。AIテキスト検出ツールは証拠ではなく確率を示すだけであり、特に短い文章や、母語話者でない人の文章で誤検出を起こします。OpenAIは2023年、精度の低さを理由に自社のAIテキスト分類器を撤回しました。使うとしても、多くの要素の中の一つの弱いシグナルとして扱うべきです。
ウェブカメラでChatGPTによる不正行為を防げますか?
一部にとどまります。カメラはスマートフォンや第2の人物には気づけますが、別のウィンドウで開かれたチャットボットは見えません。全画面表示、タブ、貼り付けのチェックがより効果的で、設問の設計が最も効果的です。
AIによる口頭フォローアップとは何ですか?
受験者が記述式の回答を提出すると、AIはその内容について短い口頭の質問を1つし、返答を採点します。回答を自分で書いた人は、数文で説明できます。貼り付けた人は、たいてい説明できません。
紙の試験が最も安全な方法でしょうか?
管理できる会場で行う重要度の高いテストでは、多くの場合はそうです。FormRead では同じテストをマークシート形式で印刷し、スマートフォンで撮影した写真から採点できるため、問題を書き直すことなく形式を切り替えられます。