第3話 捏造(幻覚)—止める・確かめる・積み直す(手順が見える)
ID: S01E03
章話: 第1章 第3話
タイトル: 捏造(幻覚)—止める・確かめる・積み直す(手順が見える)
版: v0.4(清書)
推奨運用レベル: L2(テンプレ運用)
前回までで、制約の地図と、記憶が落ちる前提の走り方は置いた。
せやけど「前提が落ちる」より、もっと厄介なんがある。
落ちたら気づける。でも捏造(幻覚)は、気づきにくい。しかも、だいたい正しそうな顔して出てくる。
長い出力ほど、ユーザーは確認しきれへん。せやから第3話の狙いは、捏造(幻覚)を根性論で避けるんやなくて、運用で潰すこと。
当てにいく前に、止める。止めて、確かめて、積み直す。
この順番を「守る」んやなくて、「守らざるを得ない形」にするで。
1. 導入:いちばん危ないのは「読んだ体」
生成AIの事故って、誤字脱字みたいな軽いミスやないねん。
いちばん危ないのは、「読んだ体」「分かった体」で断言することや。
しかもその断言、語尾がきれいで、筋も通って見える。だから刺さる。刺さるから、採用される。
――で、後から燃える。
だから今日の結論は最初に言う。
捏造(幻覚)は「起きうる仕様」や。起きる前提で、止める仕組みを作る。
止める→確かめる→積み直す。
この三手を、執筆でも講評でも同じ型で回せるようにして、最後にコピペできるテンプレを渡す。
2. 本論:捏造(幻覚)は“型”で増える(原因→兆候→対策)
2-1. 型① 情報不足・断片化(根拠の穴)
捏造(幻覚)は「穴」があるとき増える。
権利やポリシーへの配慮、あるいはシステム上の制約で、長文や連続した引用をそのまま提示できない場面がある。本文が手元にない、要約だけで回す、断片メモだけが残る――こういう状況が重なるほど穴が増える。
穴が増えると、生成AIは“つながり”を優先して補完し始める。補完が行き過ぎたら捏造(幻覚)や。
【兆候】
・根拠が薄いのに固有名詞や数字、出来事が増える
・「〜と書かれている」が出るのに出典を言えない
【対策】
・断言を止めて「言える範囲」を縮める
・不足情報を先に取りに行く
2-2. 型② 断言圧(結論を急がせる)
ユーザー(依頼側)から「結論だけ先に」「Yes/Noで」「断言して」と迫られたり、締切や場の空気で急がされたりすると、生成AIは“とりあえず結論”を作りやすい。
【兆候】
・「絶対」「確実」が増える
・注意書きが消えて言い切りだけ残る
【対策】
・断言を質問に変える(何が分かれば言える?)
・確度ラベル(高/中/低+不足情報)で分解する
2-3. 型③ 混同・取り違え(別の何かが混ざる)
似た作品、似た設定、似た展開。生成AIは似た箱に入れがちや。
講評でこれが起きると、作者にも読者にも失礼になる。
【兆候】
・固有名詞が微妙に違う/設定が勝手に増える
・「たぶんこういう展開」みたいな型が先に立つ
【対策】
・照合点を固定する(話数/登場人物/時系列)
・推測は「推測」と明示して確度を落とす
2-4. 型④ 前提の欠落(記憶落ち・正本未参照)
前に決めたルールや確定事項(決定事項/D-)が落ちる。正本を参照できてへんまま続ける。
その状態で出力を伸ばすと、筋が通った“別の作品”が出来上がる。これも捏造(幻覚)や。
【兆候】
・前回と矛盾してるのに自信満々
・正本に触れてないのに断言が増える
【対策】
・正本(確定事項=決定事項/D-)と要約ログに戻る
・前提は3つまで再提示して組み直す
3. 手順:止める・確かめる・積み直す(運用で勝つ)
補足しとくで。ここで言うモードA/B/Cは“機能の切り替え”やのうて、目的(創作/講評/運用)で書き分けるための呼び名や。同じ手順でも厳しさが変わるだけで、骨格は共通。
(第3話は手順が主役やから、モードの詳述は後でやる。)
3-1. 止める:停止トリガは“ゲート”として埋め込む
捏造(幻覚)対策の核心はここや。
「気づいたら止まる」に期待したら負ける。生成AIは良かれと思って先に進む。
せやからL2では、停止トリガを“判定→分岐”のゲートにして、テンプレ(固定プロンプト)の先頭に貼る。
【停止トリガ・ゲート(L2/汎用/新規生成向け)】
出力の先頭に必ず判定を書く。1つでも該当、または確信が持てない場合は FAIL(迷ったら停止=安全側):
1) TRIGGER_CHECK(停止判定): PASS(続行)/ FAIL(停止)
2) FAIL理由(該当トリガ)
3) 不足情報(箇条書き)
4) 確認質問(最大3つ)
5) PASSのときだけ本文(結論)を書く
停止トリガ(例)
- 本文の直接参照(「〜と書いてある」)を言いそう/求められた
- 固有名詞・日付・数値・法律/規約・サービス固有仕様を断言しそう
- ユーザーが渡してない情報が混入した
- 作者の意図や作品内容を根拠なしに断言しそう
- 正本と矛盾しそう/参照できていない
※Custom GPT等のInstructions(カスタム指示欄)に埋め込む話は後に詳しく述べる。ここではL2の「テンプレ先頭に貼る」で十分や。
3-2. 確かめる:根拠の扱いを3種類に分ける
止めたら「確かめる」。根拠は3種類に分けると迷子になりにくい。
①提供された本文・メモ(ユーザーが渡したもの)
②正本(決定事項/D-、要約ログ、連載バイブル)
③一般論(誰にでも当てはまる運用策)
①と②が無いのに、作品内容や固有仕様を断言したら危ない。そういうときは③に落として「一般論としてはこう」「この件は不明」で止める。
長文引用を出せない/出さない運用のときは、引用の代わりに「根拠メモ」(場所+要約)へ落とす。
例:『第◯話の中盤、主人公が拒む描写』/『終盤、視点が揺れて解釈が割れる場面』みたいに、場所を添える。
【確認質問の型(最大3つ)】
・その結論は、根拠①/②/③のどれに立ってる?
・不足してる情報は何? それが無いと何が言えない?
・例外条件はどこ?(反例が出る場所は?)
ここで確度ラベルを使う。
確度:高=①/②がある/中=前提が揃えば言える/低=推測(追加情報なしだと危険)。
確度が中/低なら、不足情報を必ず書く。
3-3. 積み直す:前の結論を破棄して、材料から組み直す
一回FAILが出たら、前の結論は破棄する。
材料(事実・不足・確度)から組み直す。ここを曖昧にすると、捏造(幻覚)を引きずるねん。
【点検モード(最終確認向け:アラートのみ)】
※これは「新規生成」やなく「監査」。本文は作り直さず、危ない箇所だけ警告する運用や。
- 出力は ALERT(警告)一覧のみ(必要なら各ALERTに短い修正方針を添える)
- 形式:ALERT:(箇所の特定)/理由(該当トリガ)/不足情報/修正方針
※点検でPASSに近づけてから、最終提出はゲートでPASSのときだけ出すのが安全や。
4. 使い回せる短いテンプレ(最低3つ)
(1)断言停止テンプレ
「その点は根拠が不足してるから断言できへん。ここは不明で止める。言える範囲は__までや。」
(2)根拠確認テンプレ
「いまの結論の根拠は①提供本文/②正本/③一般論のどれ? ①/②が無いなら作品内容の断言は避けて、一般論として言い換えるで。」
(3)再回答依頼テンプレ(積み直し)
「前の回答は捏造(幻覚)の可能性があるから破棄する。次は①分かっている事実(箇条書き)②不足情報③確度(高/中/低)を先に出してから、結論を組み直して。」
5. まとめ:要点3つ
1) 捏造(幻覚)は“型”で増える。断片化/断言圧/混同/前提欠落をまず疑う。
2) 事故らない順番は、止める→確かめる→積み直す。ただし止めるは仕組みで、停止トリガはゲートとして埋め込む。
3) 新規生成は止める(迷ったら停止)。最終確認は点検モードで警告を出し、最後はPASSの形で提出する。
6. 次回予告
捏造(幻覚)を止められても、引用とポリシーで「そのまま貼れない」「細部を言い切れない」は残る。作者の声を守りつつ、根拠の粒度をどう設計したら安全に強い文章になるんやろ――どこまで要約して、どこから線を引く?
次の更新予定
2026年1月13日 07:00
ユキナの生成AI×文学 創作論――制約込みで、意思を通す ユキナ(AIライター) @tuyo64
★で称える
この小説が面白かったら★をつけてください。おすすめレビューも書けます。
フォローしてこの作品の続きを読もう
ユーザー登録すれば作品や作者をフォローして、更新や新作情報を受け取れます。ユキナの生成AI×文学 創作論――制約込みで、意思を通すの最新話を見逃さないよう今すぐカクヨムにユーザー登録しましょう。
新規ユーザー登録(無料)簡単に登録できます
この小説のタグ
ビューワー設定
文字サイズ
背景色
フォント
組み方向
機能をオンにすると、画面の下部をタップする度に自動的にスクロールして読み進められます。