# 幻覚問題

## <mark style="color:purple;">AIの幻覚とは？</mark>

{% hint style="info" %}
AIの幻覚は、生成型AIモデルが虚偽や誤解を招く、または非論理的な情報を事実として生成する時に発生します。この問題は、LLMが膨大なテキストデータで訓練され、次の単語を統計的に予測するために、生成内容の現実を理解していないことから生じます。
{% endhint %}

### AIの幻覚の原因&#x20;

{% hint style="success" %}
大規模言語モデルが「幻覚」（もっともらしいが不正確な情報）を生成するのは、不確かさを認めるよりも推測を積極的に行うような訓練・評価手法によって、「当てずっぽう」に対して報酬が与えられるためである。
{% endhint %}

{% embed url="<https://openai.com/index/why-language-models-hallucinate/>" %}

### Hallucination Leaderboard

<https://github.com/vectara/hallucination-leaderboard>

{% embed url="<https://github.com/vectara/hallucination-leaderboard/raw/main/img/hallucination_rates_with_logo.png>" %}

### **Some Real Life Cases:**

### いくつかの実例：

#### ケース1: ChatGPTが生成した架空の判例を引用した弁護士&#x20;

2023年、ニューヨークの弁護士スティーブン・シュワルツは、人身傷害事件の法的ブリーフを作成するためにChatGPTを使用しました。そのブリーフには、AIが生成した架空の判例がいくつか含まれており、相手方弁護士はそれを確認できませんでした。異議が唱えられた際、シュワルツと彼の同僚ピーター・ロドゥカはその主張を堅持しましたが、裁判所は彼らに判例を提出するよう命じました。提出できなかったため、5,000ドルの罰金が科されました。さらに、裁判所は今後、生成型AIコンテンツを含む提出書類にはその使用を明示し、正確性のチェックを確保するよう命じました（ABA Journal）（Law\.com）。

#### ケース2: AI生成の誤情報&#x20;

AIが生成した誤情報は急速に広まり、公共の誤解を招くことがあります。その一例がGoogleのBardチャットボットで起こりました。Bardはジェームズ・ウェッブ宇宙望遠鏡が初めて系外惑星の画像を撮影したと誤って主張しました。この誤情報はすぐに拡散し、AIが誤ったニュースを広める可能性を示しました。

{% embed url="<https://www.theverge.com/2023/2/8/23590864/google-ai-chatbot-bard-mistake-error-exoplanet-demo>" %}

これらのケースは、誤情報の拡散を防ぎ、法的文書の整合性を確保するために、厳格な検証プロセスとAI技術の責任ある使用が重要であることを示しています。

### 軽減技術

1. より優れた大規模言語モデルを使用する：可能な限り、より強力な大規模モデルを使用しましょう。これらのモデルは幻覚を起こす頻度が少ない傾向があります。
2. AI検索エンジンを使用する：Perplexityのような、検索タスクに最適化された大規模モデルを使ったアプリを利用してください。これらのアプリはインターネットデータに基づいて回答を提供します。（\*幻覚が発生する可能性はありますが、その確率は大幅に低くなります。）
3. 人間を介在させる：AIが生成した索引やケース、その他のコンテンツを人間が注意深く検証します。
4. プロンプトを工夫する：より詳細で洗練されたプロンプトとその構造を使用して、より正確な結果を得るようにします。
5. 論理的思考やステップバイステップの問題解決に特化して訓練・ファインチューニングされたモデルを選びましょう。たとえば、Chain-of-Thought（CoT）プロンプトに対応したGPT-4や、明示的な推論プロセスを通じて幻覚（ハルシネーション）を抑制する\*\*\*\*Claude 3などが該当します。

**こちらは、AIモデルの幻覚を防ぐためのガイドラインと例を提供するOpenAI Cookbookのページです。**

{% embed url="<https://cookbook.openai.com/examples/developing_hallucination_guardrails>" %}

{% hint style="success" %}
要約すると、大規模モデルが生成したコンテンツは、使用前に必ず注意深く確認してください。
{% endhint %}

### <mark style="color:orange;">Hallucination Detector</mark>

<https://demo.exa.ai/hallucination-detector>

{% embed url="<https://github.com/exa-labs/exa-hallucination-detector/raw/main/public/opengraph-image.jpg>" %}


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.aiandbusiness.com/ja/into-ai/moderullm/huan-jue-wen-ti.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.