生成AIの最大の魅力は「生成」です。しかし、文書の誤りが許されない規制産業には、その魅力をあえて封印すべき領域があります。今回のテーマは、AIに任せる範囲を**「文章を作らせる」から「探す・参照する・突き合わせる」へ絞り込む**という、一見後ろ向きで、実のところ最も理にかなった判断です。
これは慎重論者の感覚ではありません。航空・自動車・医療機器——ソフトの誤りが人命に関わる産業の規格が、長い年月をかけて、いずれも同じ結論にたどり着いているのです。本記事は、その共通原則と、現場で機能させるためのHuman-in-the-Loop（人間が必ず関与する仕組み）の作り方を扱います。なお、特定業界・特定企業の機密に踏み込む話はしません。どの規制産業にも移せる「型」だけを取り出します。
3つの産業が同じ答えに到達している
何をAIに任せてよく、何を任せてはならないか。この問いには、先行する答えがあります。安全が最優先される産業の公開規格が、自動化ツール一般について同じ構造の原則を定めているのです。
- 航空（DO-178C／DO-330）：ツールの出力が後段で検証されない限り、ツール自体に重い認定が必要。裏を返せば「出力を必ず検証する使い方なら、要求は軽い」。
- 自動車（ISO 26262・ASPICE）：ツールの誤りを後工程で検出できる確率が高いほど、ツールへの要求は軽くなる。要件・設計・テストの双方向トレーサビリティも求める。
- 医療機器（IEC 62304・各国当局のガイダンス）：安全クラスに応じた検証と、データの来歴・人間とAIのワークフロー設計・市販後の監視まで含めたライフサイクル全体の管理。
産業は違うのに、構造はそっくりです。要は——AIに最終成果物を作らせる場合は、その出力を後ろの工程で別途検証するか、ツール自体に重い保証を求める。逆に、出力が必ず人間や決まった手順で確かめられる「検証・参照」の使い方なら、求められる保証は軽くて済む。固有のAI規格がまだない分野でも、この共通項はそのまま設計の指針に借りられます。
開発の工程に並べると規則性は明らかです。当局に出すもの・市場に出るものに近い工程ほど「作らせる」は許されにくくなり、一方で「検証・参照・照合」の価値はどの工程でも下がらない。企画段階の素案づくりはふつうの業務に近く、最終仕様や数値そのものを作らせるのは不可。その中間で、「整合チェック」や「記載漏れ・矛盾の洗い出し」といった照合の補助が広く効きます。
なぜ「生成」が危険で「照合」が安全なのか——オラクル問題
理由を一段深く掘ると、ソフトウェアテストの古典的難問「テストオラクル問題」に行き着きます。テストの合否を決めるには、「何が正しい挙動か」を定める**オラクル（正解のよりどころ）**が必要です。そしてこのオラクルは自動では生まれず、人間が仕様を確定させて初めて手に入るものです。
ここに核心があります。
AIは正解を作っていない。正解は仕様が持っており、AIはその仕様と、文書・実装・挙動とのずれを指摘しているだけだからである。 『生成AIの内製化』第7章
つまり、確定済みの仕様が人間の側にあるなら、AIは「仕様と現実の差分」を高速に見つける道具として、極めて安全かつ有効に働く。逆に、仕様が曖昧なまま照合にAIを使えば、返ってくるのは「曖昧さが拡大されたもの」です。先に土台（正本・版管理）を整えた組織ほど照合AIの効きがよいのは、まさにこの理由からです。
ただし鉄則が一つ。AIはあくまで「ずれを見つけて知らせる装置」であって、そのずれが本当の不具合なのか、それとも仕様側の問題なのかを決める役は担わせない。合否は人間が決め、AIは人間の目を「ずれ」に集中させる——ここが境界線です。
Human-in-the-Loopを「業務フロー」に変える6ステップ
大事なのは、人間の関与を「個人の心がけ」でなく義務化された業務フローにすることです。6ステップに型化できます。
- 照会（人間）：質問・照合対象を出す。機密はそもそも入力しない。
- 候補提示（AI）：該当箇所や差分・記載漏れの候補を、必ず出典付きで示す。
- 原文確認（人間）：示された根拠の原文を必ず自分で開いて確かめる（飛ばさない）。AIの要約だけで次に進まない。
- 判定（人間）：差分が真の問題か・仕様側の問題か・誤検出かを決める。合否を決めるのは人間。
- 承認（人間）：成果物への反映を承認する。AI出力の直接転記は承認対象にしない——人間が書き起こした内容だけを承認する。
- 記録（システム）：入力・AI出力・モデルと版・確認・判定・承認を、監査できる形で残す。
心臓はステップ3（原文確認）です。AIの回答は社内文書由来か一般知識由来か見た目で区別できないため、原文確認だけがその不確実性を断ち切ります。だから「根拠リンクを開かないと次へ進めない」といった画面設計で、物理的に強制する価値があります。そしてステップ5で「人間が書き起こした内容」だけを承認対象にすることが、「AIに書かせない」を文字どおり担保します。
このフローは規程に落として初めて機能します。骨格は「原文確認の強制／正式文書への直接転記の禁止／合否判定と承認は人間／監査可能な記録」の4条。AI側に課す「根拠明示・推測禁止・該当なしの明言」（前回までの設計）と対で実装すると、人間とAIのどちらが崩れても、もう片方が異常に気づけます。
どこまで踏み込むか——段階としきい値
適用範囲は段階で定義します。**第1段階（すぐ着手・低リスク）**は、記載漏れ・矛盾・曖昧性の候補抽出、過去仕様・基準の参照検索、テスト素案の生成補助。いずれも「人間が最終判断」を明記して使います。**第2段階（PoC推奨・本命）**は、仕様と実機挙動の差分検出。①基準となる仕様を人間が確定し版を固定、②AIは差分候補と参照箇所まで、③人間が判定・記録、④回帰確認は決定論的テストに落とす。**踏み込まない範囲（不可）**は、規格に直結する数値・性能の生成、検証なしの生成物の直接利用、そしてAIによる合否の最終判定です。
段階移行は雰囲気でなくしきい値で。差分検出の偽陽性・偽陰性が人間レビュー比で許容内か、全AI出力にトレーサビリティが残るか、判定・記録の運用が定着しているか——この3条件が揃うまでは第1段階にとどめます。
まとめ——事実・原則・使い方
- 【事実】 航空・自動車・医療機器の公開規格は、「AIの出力をそのまま成果物にするなら重い保証が要り、必ず検証する使い方なら軽くてよい」という同じ構造の原則を示している。
- 【原則/本記事の整理】 だから規制産業ではAIを「生成」でなく「検索・参照・照合の補助」に限定する。オラクル（確定仕様）が人間側にある限りAIは安全な検出器、ただし合否の判定者にはしない。工程・段階の線引きは本記事側の整理です。
- 【使い方】 Human-in-the-Loopを6ステップの義務フローと4条の規程に落とす。原文確認はスキップ不可、直接転記は禁止、判定と承認は人間。
「生成を封印する」のは停滞ではありません。最も保守的な産業が到達した工学的合理性であり、しかも適用の合意が取りやすく、効果も測りやすい。守りながら測り、測りながら進む——規制産業に固有の、前進の作法です。