AIの幻覚(ハルシネーション)とは？仕組み・原因・防止策と業務のチェック体制

AIの幻覚(ハルシネーション)とは、生成AIが事実と異なる内容や実在しない情報を、正しい情報であるかのように自然な文章で出力してしまう現象です。文章が流ちょうなぶん誤りに気づきにくく、社外向けの資料や契約・法務のように判断に直結する業務ほど影響が大きくなります。「存在しない資料や数字をもっともらしく答えられた」「どこまで信用して業務に使ってよいのかわからない」と感じている方に向けて、この記事では、幻覚が起きる仕組みと原因、実際に起きた事例、RAG(検索拡張生成)などの防止策とその限界を整理します。そのうえで、「どの種類の出力を、誰が、どの深さで確認するか」という業務のチェック体制を、情報システム部門や企画担当者が社内ルールに落とし込める形で解説します。

目次

開く

閉じる

1. AIの幻覚(ハルシネーション)とは｜業務で問題になる場面と契約書チェック
2. ハルシネーションの種類と、業務にもたらすリスク
3. 発生する仕組み｜確率的生成の性質
4. 主な原因｜学習データの限界
5. 実際に起きた事例｜存在しない判例を裁判所に提出した弁護士
6. 防止策｜RAG(検索拡張生成)等の技術的対策
7. 業務利用時のチェック体制
8. ハルシネーション対応でよくある失敗パターン
9. よくある質問(FAQ)
10. まとめ
11. 参考文献

AIの幻覚(ハルシネーション)とは｜業務で問題になる場面と契約書チェック

AIの幻覚(ハルシネーション)とは、生成AIが事実に基づかない内容を、事実であるかのように自然な文章で出力する現象です。英語のhallucination(幻覚)に由来し、AIが実在しないものを「見て」いるかのようにふるまうことから、この名前で呼ばれています。

厄介なのは、誤りが「いかにも誤りらしい形」で出てこない点です。文法は正しく、語り口も落ち着いていて、存在しない出典まで添えられることがあります。生成AIは正しい内容と誤った内容を同じ調子で書くため、読み手が「この種類の情報は誤りやすい」と知っていることが、最初の防御になります。

幻覚の影響が最も大きくなるのは、出力がそのまま法的・金銭的な判断に使われる業務です。代表例が契約書のチェックです。汎用の対話型AIに契約書を読ませて問題点を尋ねると、実在しない条文番号を挙げたり、契約書に書かれていない条項があるかのように説明したりすることがあります。誤りを見落としたまま締結すると、後から自社に不利な条件に気づいても取り返しがつかない場合があります。

そのため、契約書のように誤りの影響が大きい業務では、汎用AIに任せきりにせず、自社のひな型や審査基準を反映できる専用サービスや、弁護士などの専門家の確認を組み合わせる考え方が広がっています。ただし、専用サービスを使っても幻覚の心配がなくなるわけではなく、最終的に条項を受け入れるかどうかを判断するのは人です。次の表は、当サイトの商品ページで確認できる契約書レビュー分野の2サービスを、「AIの出力を人がどう確かめる設計か」という観点で並べたものです(確認日は2026年10月14日。最新の情報は各社の公式情報で確認してください)。

自社の過去の契約書や規程をAIの参照範囲に入れて、確認の土台をそろえたい場合の一例が、FRAIM株式会社が提供するLAWGUEです。商品ページによると、過去の契約書や条項をAIが提示して参照すべき文書を探せるほか、不足している条項や表記ゆれをAIが指摘し、自社ナレッジを反映したAIレビュー機能も使えます。編集履歴やコメント履歴が自動で保存されるため、条項をどう変更し、どう確認してきたかの経緯も追えます。一方で、月額費用と初期費用はいずれも要問い合わせで、本格的な利用開始までに数か月かかる場合があるため、導入の時期には余裕を見ておく必要があります。料金はプランによって異なるため、資料や公式サイトで確認してください。

導入事例として、全国展開する金融会社(A社)の担当者は、月間100件ほどのリーガルチェックを人海戦術で行っていた状況から、導入後の変化を次のように話しています。

概算で年間460時間ほどの削減ができています。

LAWGUE「活用事例勉強会 ユーザー対談」(2023年12月18日公開、https://lawgue.com/column/4643/)。個別の事例であり、同様の結果を保証するものではありません。

確認作業の工数が減れば、人が判断すべき箇所に時間を回しやすくなります。もう1つのクラウドリーガルは、専門家による確認を体制に組み込む例として、「業務利用時のチェック体制」で取り上げます。なお、本記事は一般的な情報提供を目的としたもので、法的助言ではありません。個別の契約の判断は弁護士など専門家に相談してください。

ハルシネーションの種類と、業務にもたらすリスク

ハルシネーションは、参照した情報と食い違う「内在的」な誤りと、参照した情報にない内容を付け加える「外在的」な誤りに大きく分けられます。どちらの誤りかによって、見つけるための確認方法が変わります。

内在的ハルシネーションと外在的ハルシネーション

種類	意味	現れ方の例	見つけ方
内在的ハルシネーション(intrinsic)	入力した文書や参照した情報と食い違う内容を出力する	要約や翻訳で、元の文書にある数値や結論を取り違える、意味を逆にする	元の文書と照らし合わせれば見つけられる
外在的ハルシネーション(extrinsic)	入力や参照した情報にない内容を、新たに付け加える	存在しない論文・判例・条文番号・URLを、もっともらしく示す	外部の一次情報を調べて初めて確認できる

解説によって、基準を「入力した文書」とする説明と、「学習データ」とする説明があります(野村総合研究所の用語解説は、学習データを基準に説明しています)。業務の現場では呼び方を覚えるより、「元の資料と照らし合わせれば確認できる誤り」と「出典を実際に開いて調べなければ確認できない誤り」に分けて考える方が実用的です。

業務での現れ方｜4つのパターン

パターン	具体的な現れ方	業務での影響の例
事実の誤り	人名・社名・年号・数値などが実際と異なる	社外向け資料に誤った数値が載り、信用を損なう
存在しない出典・根拠	実在しない論文、判例、条文番号、URLをもっともらしく示す	根拠として提出した資料が確認できず、説明責任を果たせない
入力内容との矛盾	要約や翻訳で、元の文書に書かれていない内容を付け加える、または意味を逆にする	議事録や契約書の要約が原文と食い違い、誤った判断につながる
論理の飛躍	途中の計算や推論が誤っているのに、結論だけは自信を持って述べる	試算や分析の結論をそのまま採用し、意思決定を誤る

単なる「間違い」との違い

検索エンジンで見つけたWebページの情報が古かった、というのは情報源の誤りです。一方でハルシネーションは、AI自身が情報を組み立てる過程で生まれる誤りであり、元になった情報源が存在しない場合もあります。検索結果であればリンク先を開けば元の文章を確認できますが、生成AIの回答はAIが作った文章そのものなので、「どこから来た情報か」を後から追跡できないことがあります。この「出どころを追えない」という性質が、ハルシネーションを通常の誤情報より扱いにくくしている理由です。

幻覚が業務にもたらすリスク

業務で生成AIを使う場合に想定しておきたいリスクは、大きく4つに分けられます。1つ目は誤情報の拡散と信用の低下です。AIが作った誤った数値や説明が社外向けの資料、Webサイト、顧客への回答に載ると、訂正に手間がかかるだけでなく、「この会社の情報は確かめられていない」という印象を与えかねません。2つ目は誤った意思決定です。市場規模の試算や制度の要件をAIの回答のまま採用すると、投資判断や申請の準備が前提から崩れることがあります。3つ目は第三者の権利や名誉に関わるリスクです。実在する人物や企業について事実と異なる経歴などを生成し、確認せずに公開すると、相手の名誉や信用を傷つけるおそれがあります。4つ目は契約や法令への対応の誤りです。実在しない条文や古い制度をもとに判断すれば、取引先との約束や法令上の義務を正しく果たせないことがあります。

これらに共通するのは、AIが誤ったこと自体よりも、誤りが確認されないまま社外や意思決定の場に出ていくことで損害が大きくなる点です。一般的に、AIの出力を使って作った資料や回答の責任は、それを使った利用者側が負うものと考えられています。後半のチェック体制は、「どの出力が、どこに出ていく前に、誰が止めるか」を管理するための仕組みです。AIを使う場面ごとのリスクを広く整理したい方は、AIリスクとは？企業が知るべき4分類と対策5ステップをEU AI Act・国内ガイドラインで解説もあわせてご覧ください。

契約書のAIチェックを例に、2サービスの役割の違いを比較表で見る

発生する仕組み｜確率的生成の性質

生成AIは、意味や事実を確かめながら答えているのではなく、次に続く可能性が高い言葉を確率的に選んで文章を組み立てています。この仕組みそのものが、もっともらしい誤りを生む根本的な理由です。

大規模言語モデルは「次の言葉」を予測している

文章を生成するAIの中核にある大規模言語モデル(LLM)は、大量の文章を学習し、ある言葉の並びのあとにどの言葉が続きやすいかという傾向を身につけています。質問を受け取ると、その質問に続く言葉として確率の高いものを一つずつ選び、文章をつなげていきます。たとえば「日本の首都は」という文に続く言葉としては「東京」の確率が非常に高いため、正しい答えが出ます。学習データの中で何度も繰り返し現れた事実は、このように正しく再現されやすいのです。LLMそのものの仕組みや生成AIとの違いは、LLMとは？生成AIとの違いと仕組み、業務で使う際の確認ポイントで詳しく解説しています。

問題は、学習データにほとんど現れない情報や、正解が一つに定まらない質問を受けたときです。この場合でもモデルは「わからない」と止まるのではなく、文脈として自然に続きそうな言葉を選び続けます。その結果、文章としては自然でも、中身は事実と異なる回答ができあがります。モデルにとっては「文脈に合う言葉を選ぶ」という同じ作業をしているだけで、正しい回答と誤った回答を内部で区別しているわけではありません。

「それらしさ」を学ぶ訓練が誤りを目立たなくする

対話型の生成AIは、人にとって読みやすく役に立つ回答を返すよう追加の調整を受けています。この調整によって回答は丁寧で整ったものになりますが、同時に「答えられない」よりも「何か答える」方向に傾きやすくなるという指摘もあります。質問者が答えを期待している場面ほど、AIは空白を埋めるように推測で文章を補ってしまいます。整った文体は読み手を安心させるため、誤りが混じっていても気づきにくくなるのです。

同じ質問でも答えが変わる理由

生成AIは、毎回もっとも確率の高い言葉だけを選ぶのではなく、ある程度のゆらぎを持たせて言葉を選ぶ設定で動いていることが一般的です。そのため、同じ質問を繰り返すと、回答の表現や内容が変わることがあります。この性質は、幻覚を見つける手がかりにもなります。同じ質問を何度か投げて、毎回同じ答えが返ってくる部分は比較的安定しており、回ごとに数値や固有名詞が変わる部分は、モデルが確信を持てずに推測している可能性が高いと考えられます。

どのくらいの確率で起きるのか｜数字だけで判断できない理由

「何%の確率で起きる」という一律の数字は示せません。確率は、モデルの種類、質問の内容、参照させる資料の有無、測り方によって大きく変わるためです。たとえば公開されている評価の一つであるVectaraのハルシネーション評価は、文書を要約させたときに原文と矛盾する内容が入る頻度を測るものです。運営者自身が、一般的な質問に対する事実の正確さ全体を測っているわけではないと説明しています。つまり、こうした数値は「要約という特定の作業での目安」であり、自社の業務にそのまま当てはめることはできません。実務では数字を探すよりも、自社が使う出力の種類ごとに誤りの出やすさを見積もり、確認の深さを決める方が実務的です。

主な原因｜学習データの限界

幻覚は、学習データに含まれない・偏っている・古い情報を問われたときと、指示が曖昧なときに起きやすくなります。原因を知っておくと、「この使い方は幻覚が起きやすい」と事前に予測できるようになります。

原因	起きやすい場面	利用者側でできる工夫
学習データにない情報	社内規程、自社製品の仕様、取引先固有の事情など、公開されていない情報を尋ねる	必要な資料を入力に含めるか、社内文書を参照させる仕組みを使う
学習データの偏り・誤り	ネット上で誤解が広まっている話題や、情報の少ない専門分野を尋ねる	一次情報(公的機関の資料や公式サイト)で裏を取る
知識の締め切り時点	法改正、制度の変更、最新の料金や人事など、学習後に変わった情報を尋ねる	日付に依存する情報は必ず最新の公式情報で確認する
曖昧な指示	対象・条件・前提を示さずに質問し、AIが推測で補う範囲が広がる	目的、対象、使ってよい情報源、わからない場合の扱いを明示する
長い入力の読み落とし	長い契約書や報告書を一度に渡し、細部の要約や抜き出しを頼む	文書を章ごとに分けて処理し、該当箇所の引用を併記させる

「知らない」ことを知らない

学習データの限界で特に注意したいのは、AIが自分の知識の範囲を正確に把握していない点です。人であれば「その件は聞いたことがない」と自覚できますが、生成AIは学習していない話題についても、似た話題の知識を組み合わせて回答を作ってしまいます。たとえば、ある中小企業の沿革を尋ねると、同じ業界のよくある企業の沿革を混ぜ合わせたような文章を返すことがあります。社名や地名が正しくても、中身は別の企業の情報だった、ということが起こり得るのです。

日付に依存する情報は特に危ない

生成AIの学習には、ある時点までに集めたデータが使われます。その時点より後の法改正や制度変更、料金改定などは、検索機能と連動していない限り、AIの知識には含まれていません。しかもAIは「この情報は古い可能性があります」と常に断ってくれるわけではなく、古い制度の内容を現在の制度として説明することがあります。補助金の要件、税率、労務の手続きのように年度ごとに変わる情報は、AIの回答を入口にしつつも、必ず所管官庁の最新情報で確かめることを原則にしてください。

指示の曖昧さは利用者側の原因

原因の多くはモデル側にありますが、指示の曖昧さは利用者が改善できる部分です。「この業界の市場規模を教えて」とだけ尋ねると、AIはどの年の、どの範囲の、どの機関の数字かを自分で推測して答えます。「出典となる公的統計の名称と調査年を明記し、該当する統計がなければ『不明』と答えて」と条件を加えるだけで、推測で数字を作る余地は小さくなります。わからない場合の答え方をあらかじめ指定しておくことは、手軽で効果のある工夫の一つです。

実際に起きた事例｜存在しない判例を裁判所に提出した弁護士

実際に起きた代表的な事例は、米国で弁護士が生成AIの出力した存在しない判例を裁判所に提出し、制裁を受けたMata v. Avianca事件です。幻覚が「画面の中の誤り」にとどまらず、公的な手続きの場に出ていった例として、業務でAIを使う際の教訓になります。

2023年、米国ニューヨーク南部地区連邦地方裁判所に起こされた航空会社を相手取る訴訟(Mata v. Avianca, Inc.、事件番号22-cv-1461)で、原告側の弁護士が、ChatGPTを使って調べた判例を裁判所への提出書面に引用しました。ところが、それらの判例は実在せず、引用された文言も存在しないものでした。裁判所は2023年6月22日付の命令で、弁護士らに制裁を科しています。

裁判所が問題にしたこと

命令は冒頭で、信頼できるAIツールを補助として使うこと自体が不適切とは限らないとしたうえで、提出書面の正確性を確かめる「門番」の役割は弁護士にあると述べています。さらに、判例の実在を疑う指摘や裁判所の命令を受けたあとも、偽の判例を前提とした主張を維持した点を問題にしています。AIを使ったこと自体よりも、出力を確認する責任を果たさなかったことが争点になったといえます。

この事例から業務に持ち帰れること

1. 出典・判例・条文番号は、AIの回答ではなく原本を開いて確認する(AI自身に実在を聞き返しても、確認の代わりにはなりません)
2. AIの出力を使った資料の最終責任は利用者側にあるという前提で、確認する担当者を決めておく
3. 誤りの疑いを指摘されたら、早い段階で調べ直して訂正する手順を決めておく(命令も、疑問が示された時点で事実を明らかにしていれば状況は大きく違ったと述べています)

なお、これは米国の裁判所の事例であり、日本の法令や実務の判断を示すものでも、法的助言でもありません。AIを使った文章づくりで気をつけたい法律上のポイントは、AI文章作成とは？使い方と法律上の注意点で整理しています。

防止策｜RAG(検索拡張生成)等の技術的対策

幻覚を減らす方法には、参照する情報を与えるRAG、プロンプトの工夫、出力の検証の自動化などがありますが、どれもゼロにする方法ではありません。それぞれの効果と限界を知ったうえで組み合わせることが大切です。

対策	期待できる効果	限界・注意点
RAG(検索拡張生成)	社内文書や信頼できる情報源を検索し、その内容をもとに回答させるため、根拠のない回答が減る	参照する文書が古い・誤っていれば、その誤りをそのまま回答する。検索で関係のない文書を拾うこともある
プロンプトの工夫	前提・条件・情報源を明示し、わからない場合は「不明」と答えるよう指示することで、推測の範囲を狭められる	指示を守らない場合もある。担当者ごとの書き方の差が品質の差になる
根拠箇所の引用	回答と一緒に、参照した文書の該当箇所を示させることで、人が確認しやすくなる	引用そのものが誤っていることがあるため、引用元を実際に開いて照合する必要がある
用途特化型サービスの利用	契約書・議事録など特定業務向けに設計されたサービスは、参照範囲や出力形式が絞られ、誤りの出方を予測しやすい	対応していない文書の種類や言語では精度が下がることがある
生成の設定の調整	言葉の選び方のゆらぎを小さくする設定で、回答のばらつきを抑えられる	ばらつきが減っても、誤った内容が安定して出ることはある
モデル自体の改善	学習データの質の向上や、人間のフィードバックを使った強化学習など、提供事業者の側で誤りの出方を減らす	完全な抑制は難しく、利用者が直接は調整できない。複数の対策を組み合わせて緩和するのが現状

RAGの仕組みと、効果を左右するもの

RAG(Retrieval-Augmented Generation、検索拡張生成)は、質問を受け取ったAIが、まず社内の規程集やマニュアル、FAQなどのデータベースから関連する文書を検索し、その文書の内容を材料にして回答を作る仕組みです。モデルの記憶だけに頼らず、手元の資料を「カンニングペーパー」として渡すイメージで考えるとわかりやすいでしょう。学習データにない社内情報を扱えるようになり、知識の締め切り時点の問題も、参照する文書を更新することで補えます。

ただし、RAGの回答品質は、参照する文書の品質でほぼ決まります。改定前の規程が残っていれば古い内容を答え、同じテーマの文書が複数あって内容が食い違っていれば、どちらを採用するかはAI任せになります。RAGを導入する際は、AIの設定よりも先に、参照させる文書の整理(最新版の特定、重複の削除、更新の担当者の決定)に手間をかけることが、結果的に幻覚を減らす近道です。

技術的対策だけでは足りない理由

ここまでの対策はいずれも、幻覚が起きる確率を下げるものであって、起きないことを保証するものではありません。総務省と経済産業省が取りまとめた「AI事業者ガイドライン」(第1.2版、令和8年3月31日)でも、AIを事業に利用する「AI利用者」にとって重要な事項として、AIの出力について精度及びリスクの程度を理解し、様々なリスク要因を確認したうえで利用することが挙げられています。技術で確率を下げたうえで、残った誤りを人が見つける仕組みを業務の中に組み込むことが、実務上の防止策の完成形になります。

この「技術で減らし、人が確かめる」という組み立ては、契約書のレビューサービスにも見られます。自社のひな型や過去の契約書をAIの参照範囲に入れ、その結果を人が確認する設計は、参照範囲を自社の文書に絞るという点でRAGと似た考え方です。

業務利用時のチェック体制

チェック体制づくりのポイントは、すべての出力を同じ厳しさで確認するのではなく、「出力の種類」と「誤りの影響の大きさ」で確認の深さを変えることです。全件を厳密に確認しようとするとAIを使う意味が薄れ、逆に確認を個人任せにすると重大な誤りが素通りします。

出力の種類ごとに確認方法を決める

幻覚は、文章のどこにでも同じ確率で起きるわけではありません。特に誤りやすいのは、固有名詞、数値、日付、引用・出典、法令や規程の内容です。逆に、文章の言い回しや構成案、アイデアの列挙などは、多少の誤りがあっても人が読めばすぐに気づけ、影響も限られます。次の表のように、出力の種類ごとに確認方法を決めておくと、確認の手間を必要な箇所に集中させられます。

出力に含まれる情報	幻覚の起きやすさ	確認方法の例
数値・日付・金額	高い	出典の原資料を開き、数値と調査年を1件ずつ照合する
固有名詞(人名・社名・製品名)	高い	公式サイトなどで正式名称と表記を確認する
引用・出典・URL	高い	リンクを実際に開き、引用された文言が本当に書かれているか確かめる
法令・規程・契約条項の解釈	高く、影響も大きい	条文・規程の原文と照合し、判断が必要な部分は法務担当や専門家が確認する
要約・翻訳	中程度	重要な結論や数値の部分だけ原文と突き合わせる
文章の言い回し・構成案・アイデア	影響は小さい	通常の文章チェックの範囲で読み、事実を含む部分だけ上の方法で確認する

用途ごとに確認の段階を決める

出力の種類に加えて、その出力を「誰が、どこで使うか」で確認の段階を分けます。AIの出力を人が最終確認して承認する運用は、「ヒューマン・イン・ザ・ループ(人間が介在する設計)」と呼ばれます。次の表のように、用途ごとに確認する人と残す記録を決めておくと、現場で迷いにくくなります。

出力の用途	確認する人	残しておく記録
自分だけが読むメモ・アイデア出し	利用者本人	特になし(事実を含む部分だけ本人が確認)
社内で共有する資料	作成者とは別の人(二重チェック)	確認者、確認した日付
社外に出す資料・顧客への回答	担当部署の責任者	確認者、確認した日付、確認に使った一次情報
契約・法務に関わる文書	法務担当や弁護士など専門家	確認者、確認した日付、AIの指摘と専門家の判断の差分

情報処理推進機構(IPA)の中核人材育成プログラムの修了プロジェクトがまとめた「テキスト生成AIの導入・運用ガイドライン」でも、組織で生成AIを運用する際に利活用のガイドラインやルールを策定・文書化することや、リスクを整理して管理することが取り上げられています(同資料は、IPAの公式見解ではなくプロジェクトメンバーの見解である旨が明記されています)。社内ルールには、「AIを使ってよい業務」だけでなく、「その業務の出力をどの段階で誰が確認するか」まで含めます。

確認する人の知識をそろえる

チェック体制は、確認する人が「どこを疑うべきか」を知っていて初めて機能します。数値や出典が誤りやすいことを知らない担当者は、整った文章を見て安心し、確認を省いてしまいがちです。ハルシネーションの仕組みと、先の表のような誤りやすい情報の種類を、AIを使う全員が共通の知識として持つことが、体制の土台になります。契約書のように専門知識が必要な分野では、専門家や専用サービスの確認を段階に組み込み、担当者一人の知識に頼らない体制にします。

任せきりにしない質問と、入力してはいけない情報

生成AIに聞いてはいけない質問が一律にあるわけではありませんが、結果に責任が伴う判断をAIの回答だけで確定させてはいけません。任せきりにしないものは、大きく3種類あります。1つ目は、法令や契約条項の解釈、税務・労務の個別の判断のように、結論に責任が伴うものです。論点の洗い出しや下書きには使えても、結論は専門家が確認します。2つ目は、法改正、制度変更、料金、人事のように、日付によって答えが変わる最新情報です。公式情報で確認します。3つ目は、数値、統計、出典、引用のように、原資料と照合できるものです。AIの回答を原資料の代わりにしてはいけません。

もう1つ、聞き方ではなく「入れる情報」にも注意が必要です。個人情報保護委員会は、個人情報取扱事業者が本人の同意なく個人データを含むプロンプトを生成AIサービスに入力し、その個人データが応答結果の出力以外の目的で取り扱われる場合には、個人情報保護法に違反する可能性があるとして、サービス提供事業者が機械学習に利用しないことなどを確認するよう注意喚起しています(令和5年6月2日)。同委員会は、生成AIの応答には不正確な内容が含まれることがあり、確率的な相関関係に基づいて文章が生成されるため、不正確な内容の個人情報が出力されるリスクもあると述べています。AI事業者ガイドラインも、AI利用者に対し、機密情報等を不適切に入力しないよう注意を払うことを求めています。何を入力してよいかは、利用するサービスの利用規約やプライバシーポリシーで、入力内容が学習に使われるかどうかを確認したうえで、社内ルールとして線を引いておきます。個別の判断に迷う場合は、弁護士など専門家に相談してください。

こうした確認を毎回、人の注意力だけで回している場合は、専門家の確認を仕組みとして組み込む選択肢もあります。AIが一次確認し、人が判断し、専門家が最終確認する、という分担を、サービスとして用意している一例が、Molton株式会社が提供するクラウドリーガルです。商品ページによると、生成AIと弁護士(専門士業)を組み合わせたサービスで、契約書レビューでは弁護士から基本1営業日以内にWordコメント付きの返答が届き、レビューと同時にチャットで契約事項や事業特性も相談できます。契約書の自動作成や法務・労務相談、電子契約まで同じサービスで扱えます。一方で、契約書レビューはサービスの一部で、1通あたり7ページ以下のものが対象になり、プランごとに相談時間やレビュー件数の上限があります。料金はプランによって異なるため、資料や公式サイトで確認してください。

導入事例として、東証プライム上場の株式会社スカラ(従業員400名以上)の法務担当者は、AIの回答と弁護士の回答の違いについて、次のように話しています。

「AIがそう言っている」だけでなく、「弁護士がそう言っている」ということで、自信を持って役員や事業部に回答できますし、(後略)

Molton株式会社「導入事例 株式会社スカラ様」(https://www.molton.inc/voice/3/)。個別の事例であり、同様の結果を保証するものではありません。

AIの出力を人が確かめる体制は、社内だけで完結させる方法と、外部の専門家を組み込む方法があります。自社の契約書の量や担当者の人数、確認にかけられる時間に合わせて選びましょう。

ハルシネーション対応でよくある失敗パターン

失敗の多くは、AIの性能ではなく、確認の手順や役割分担が決まっていないことから起きます。導入初期によく見られるパターンを、改善後の状態と並べて整理します。

失敗パターン	Before(よくある状態)	After(改善後の状態)
1. 出典があるから正しいと思い込む	AIが示した出典名やURLを開かずに資料へ転記し、後で実在しないことがわかる	出典は必ず開いて、引用された内容が書かれているかを確かめるルールにする
2. 全件を同じ厳しさで確認しようとする	確認の負担が大きすぎて形骸化し、結局どれも確認されなくなる	出力の種類と用途で確認の深さを決め、重要な箇所に手間を集中させる
3. RAGを入れたから安心する	古い規程が参照先に残ったままで、改定前の内容が回答され続ける	参照文書の最新版管理と更新担当者を決め、定期的に棚卸しする
4. 専門判断をAIに任せる	契約書の問題点をAIに列挙させ、それ以外は問題なしと判断して締結する	AIの指摘は一次確認と位置づけ、判断は担当者と専門家が行う

4番目の失敗には、見落とされやすい落とし穴があります。AIに「問題点を挙げて」と頼んだとき、挙げられた問題点に誤りがないかは確認しても、「挙げられなかった問題点」があるかどうかまでは確認しにくいのです。幻覚は存在しないものを作り出すだけでなく、重要なものを見落とす形でも現れます。AIの指摘が少なかったことを安全の根拠にしないことが、専門性の高い業務でAIを使う際の大切な心構えです。契約書のように見落としの影響が大きい業務では、AIの一次確認のあとに弁護士など専門家の確認を挟む設計を、早めに検討しておきましょう。

よくある質問(FAQ)

Q1. AIの幻覚(ハルシネーション)とは何ですか？

A. 生成AIが、事実と異なる内容や実在しない情報を、正しい情報であるかのように自然な文章で出力してしまう現象です。英語のhallucination(幻覚)に由来します。ChatGPTなどの対話型AIでも、存在しない出典や数値をもっともらしく示すといった形で現れます。

Q2. AIのハルシネーションの確率はどのくらいですか？

A. 一律の確率は示せません。モデルの種類、質問の内容、参照させる資料の有無、測り方によって大きく変わり、公開されている評価の多くも要約など特定の作業に限った測定です。自社で使う出力の種類ごとに誤りの出やすさを見積もり、確認の深さを決めるのが現実的です。

Q3. なぜAIは幻覚を起こし、どのような情報で起きやすいのですか？

A. 生成AIは意味や事実を確かめて答えているのではなく、次に続く可能性が高い言葉を確率的に選んで文章を作っているためです。特に数値・日付・金額、人名や社名などの固有名詞、引用・出典・URL、法令や契約条項の解釈は誤りやすい情報です。学習データにない情報や古い情報を問われたとき、指示が曖昧なときにも起きやすくなります。

Q4. ChatGPTなどの生成AIに聞いてはいけないことはありますか？

A. 一律に聞いてはいけない質問があるわけではありませんが、法令や契約条項の解釈、税務・労務の個別判断、最新の制度や料金、出典の確認が必要な数値は、AIの回答だけで確定させてはいけません。また、個人情報や機密情報は、サービスの利用規約やプライバシーポリシーで学習への利用の有無を確認し、社内ルールの範囲で入力します。

Q5. RAG(検索拡張生成)を導入すれば幻覚はなくなりますか？

A. なくなるわけではありません。社内文書などを参照させることで根拠のない回答は減りますが、参照する文書が古い・誤っている場合はその内容をそのまま答えます。参照文書の最新版管理と、出力を人が確認する仕組みを組み合わせることが大切です。

Q6. 契約書のチェックに生成AIを使っても大丈夫ですか？

A. 汎用の生成AIは実在しない条文番号を挙げるなどの誤りを起こすことがあるため、出力をそのまま判断に使うのは避けるのが一般的です。自社の基準を反映できる専用サービスを使い、担当者や弁護士など専門家が最終確認する体制をとる方法が考えられます。

まとめ

AIの幻覚(ハルシネーション)は、生成AIが確率的に言葉を選んで文章を作るという仕組みから生まれる現象で、技術の進歩で減らすことはできても、完全にゼロにすることは難しいものです。業務でAIを安全に使うために、まず取り組みたいのは次の4つです。

1. 数値・固有名詞・出典・法令など、幻覚が起きやすい情報の種類を全員で共有する
2. 出力の種類と用途で確認の深さと確認する人を決め、確認者と日付を記録に残す
3. 目的・条件・情報源を明示し、RAGを使う場合は参照させる文書の最新版管理と更新担当者を先に決める
4. 契約書のように影響の大きい業務では、専用サービスや専門家の確認を組み込めるかを、資料で比較検討する

AIの回答が流ちょうであることと、正しいことは別の問題です。幻覚が起きる前提で「どこを、誰が、どの深さで確かめるか」を決めておけば、生成AIは業務の頼れる下書き役になります。なお、本記事は一般的な情報提供を目的としたもので、法的助言ではありません。契約や法令に関わる個別の判断は、専門家に相談してください。

参考文献

• 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(令和8年3月31日)https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html
• 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」(令和5年6月2日)https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/
• IPA(独立行政法人情報処理推進機構)「テキスト生成AIの導入・運用ガイドライン」https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2024/generative-ai-guideline.html
• 米国ニューヨーク南部地区連邦地方裁判所「Mata v. Avianca, Inc., No. 22-cv-1461 (PKC) Opinion and Order on Sanctions」(2023年6月22日。ニューハンプシャー地区連邦地方裁判所サイト掲載の写し)https://www.nhd.uscourts.gov/sites/default/files/pdf/Mata-v-Avianca-sanctions-order.PDF
• Vectara「Hallucination Leaderboard」https://github.com/vectara/hallucination-leaderboard
• 野村総合研究所「用語解説 ハルシネーション」https://www.nri.com/jp/knowledge/glossary/hallucination.html
• FRAIM株式会社 LAWGUE「活用事例勉強会 ユーザー対談」https://lawgue.com/column/4643/
• Molton株式会社 クラウドリーガル「導入事例 株式会社スカラ様」https://www.molton.inc/voice/3/