幻覚問題

AIの幻覚とは？

AIの幻覚は、生成型AIモデルが虚偽や誤解を招く、または非論理的な情報を事実として生成する時に発生します。この問題は、LLMが膨大なテキストデータで訓練され、次の単語を統計的に予測するために、生成内容の現実を理解していないことから生じます。

AIの幻覚の原因

大規模言語モデルが「幻覚」（もっともらしいが不正確な情報）を生成するのは、不確かさを認めるよりも推測を積極的に行うような訓練・評価手法によって、「当てずっぽう」に対して報酬が与えられるためである。

Why language models hallucinateOpenAI

Hallucination Leaderboard

https://github.com/vectara/hallucination-leaderboard

https://github.com/vectara/hallucination-leaderboard/raw/main/img/hallucination_rates_with_logo.pnggithub.com

Some Real Life Cases:

いくつかの実例：

ケース1: ChatGPTが生成した架空の判例を引用した弁護士

2023年、ニューヨークの弁護士スティーブン・シュワルツは、人身傷害事件の法的ブリーフを作成するためにChatGPTを使用しました。そのブリーフには、AIが生成した架空の判例がいくつか含まれており、相手方弁護士はそれを確認できませんでした。異議が唱えられた際、シュワルツと彼の同僚ピーター・ロドゥカはその主張を堅持しましたが、裁判所は彼らに判例を提出するよう命じました。提出できなかったため、5,000ドルの罰金が科されました。さらに、裁判所は今後、生成型AIコンテンツを含む提出書類にはその使用を明示し、正確性のチェックを確保するよう命じました（ABA Journal）（Law.com）。

ケース2: AI生成の誤情報

AIが生成した誤情報は急速に広まり、公共の誤解を招くことがあります。その一例がGoogleのBardチャットボットで起こりました。Bardはジェームズ・ウェッブ宇宙望遠鏡が初めて系外惑星の画像を撮影したと誤って主張しました。この誤情報はすぐに拡散し、AIが誤ったニュースを広める可能性を示しました。

これらのケースは、誤情報の拡散を防ぎ、法的文書の整合性を確保するために、厳格な検証プロセスとAI技術の責任ある使用が重要であることを示しています。

軽減技術

1. より優れた大規模言語モデルを使用する：可能な限り、より強力な大規模モデルを使用しましょう。これらのモデルは幻覚を起こす頻度が少ない傾向があります。

2. AI検索エンジンを使用する：Perplexityのような、検索タスクに最適化された大規模モデルを使ったアプリを利用してください。これらのアプリはインターネットデータに基づいて回答を提供します。（*幻覚が発生する可能性はありますが、その確率は大幅に低くなります。）

3. 人間を介在させる：AIが生成した索引やケース、その他のコンテンツを人間が注意深く検証します。

4. プロンプトを工夫する：より詳細で洗練されたプロンプトとその構造を使用して、より正確な結果を得るようにします。

5. 論理的思考やステップバイステップの問題解決に特化して訓練・ファインチューニングされたモデルを選びましょう。たとえば、Chain-of-Thought（CoT）プロンプトに対応したGPT-4や、明示的な推論プロセスを通じて幻覚（ハルシネーション）を抑制する****Claude 3などが該当します。

こちらは、AIモデルの幻覚を防ぐためのガイドラインと例を提供するOpenAI Cookbookのページです。

Developing Hallucination Guardrailscookbook.openai.com

要約すると、大規模モデルが生成したコンテンツは、使用前に必ず注意深く確認してください。

Hallucination Detector

https://demo.exa.ai/hallucination-detector