AIにおいて、幻覚とは、モデルが流暢ではあるものの、事実上は不正確であったり意味をなさない出力を生成することを指します。特に大規模言語モデルや生成AIにおいてよく見られます。
目的
幻覚を研究することは、モデルの信頼性と安全性の向上に役立ちます。これにより、開発者は不正確な出力を検出し、削減するための安全策を設計できるようになります。
重要性
- 対処しないと AI への信頼が低下します。
- 医療や法律などの機密性の高いアプリケーションでは危害を及ぼす可能性があります。
- 現在の生成モデルの制限を強調します。
- 事実の根拠と検索方法の研究を推進します。
仕組み
- モデルはプロンプトまたはクエリを受け取ります。
- 事実の検証ではなく、学習したパターンに基づいて出力を生成します。
- もっともらしいように聞こえるが誤った結果が生成される場合があります。
- 検出および修正技術が適用されます (例: RAG)。
例（実世界）
- ChatGPT はプロンプトが表示されたときに誤った事実を生成することがあります。
- Google Bard の最初のデモでは事実上の誤りが明らかになりました。
- AI が生成した医療アドバイスには不正確な部分が含まれる場合があります。
参考文献 / さらに読む
- 「大規模言語モデルにおける幻覚の軽減」— arXiv プレプリント。
- NIST AI リスク管理フレームワーク。
- ミッチェル他「モデルレポートのためのモデルカード」ACM FAccT。
- AI幻覚の原因
