前回までで、AIが参照する土台「意味の層」の建て方を見てきました。今回はその上に立つ窓口——ユーザーが実際に触れる社内ボット（Gem などのカスタムAIアシスタント）の作り方です。
最初に立場をはっきりさせます。**社内ボットは到達点ではなく、意味の層への「入り口」**です。窓口がどれだけ洗練されていても、参照する土台が貧しければ回答も貧しい。逆に、前回の7工程で土台を整えた組織にとって、ボットはその価値を現場へ届ける最短の窓口になります。
知識ファイルは「静かに失敗する」
社内ボットを作る前に、その内部挙動を正しく知っておく必要があります。ここを誤解したまま運用に入ると、最も危険な形——誰も気づかない形で失敗するからです。
ボットに載せた知識ファイルは、毎回まるごと読まれるわけではありません。質問に「十分近い」と判定されたときだけ検索されて参照されます。つまり中身は実質的にRAG（検索拡張生成）です。問題はここから。質問の言い回しが文書の表現とずれて検索が空振りすると、ボットは「該当がありません」とは言いません。警告なく自分の学習データに切り替え、一般論の回答を、社内文書に基づく回答と同じ顔で返すのです。第1回で触れた「自信満々に間違う（confidently wrong）」が、ボットの内部で再生産されます。
たとえば、ある試験条件を「耐久試験」と尋ねたが、社内文書では「寿命評価」という名称だった——それだけで検索は空振りし、ボットは一般的な通念でそれらしい数値を答えます。文体も自信の度合いも、社内文書を引いたときと見分けがつきません。怖いのは、この失敗が「静か」なことです。
対策は三層で組みます。
- 絶対に外せない事実は指示文側に書く——用語の定義・正式名称・禁止事項・前提条件は、毎回必ず読まれるカスタム指示に置く（常時ロードされる層）。詳細な本文は知識ファイル側に置く。こうすれば、検索が空振りしても最低限の正しさが残る「床」になります。
- 引用を義務化する——「根拠とした文書名と箇所を必ず示す。見つからなければ推測せず『該当する記載がありません』と答える」と指示に書く。根拠を示せない回答は、それ自体が利用者への警告になります。
- 「答えのない質問」を評価に混ぜる——精度を測る問題集に、わざと社内文書に答えがない質問を入れ、一般論で答えたら不正答とする。「ない」と正しく言えた率を測れば、静かな失敗は静かでなくなります。
量産が「精度の壁」にぶつかる3つの分岐点
「とりあえずボットを5〜10個作って配ろう」という計画は、高い確率で精度の壁にぶつかります。壁の正体はボットの数ではありません。スケールする実装と破綻する実装を分けるのは、次の3点です。そしてどれも、前回の7工程の一部が窓口側に顔を出したものです。
- ナレッジを業務・機密・部門で分割しているか——巨大な文書群を1つのボットに全部入れると、検索が薄まりノイズが増えます。「1部署あたり3〜5個に絞る」「1ボットに詰め込みすぎない」が定石。分割の単位は思いつきでなく、土台で決めた正本区画と分類体系に従います。
- 評価セットで精度を測り続けているか——各ボットに評価用の問題集がなければ、精度の劣化は「利用率の低下」という形でしか分からず、原因も切り分けられません。ボットを1つ増やすことは、評価セットを1式増やすことと同義。これを守れないなら、増やすべきではありません。
- 正本を1つに定め、版管理しているか——ここにボット特有の落とし穴があります。一部のファイル形式は、正本を改訂しても再アップロードしない限り古いまま残ります。土台側で旧版に「墓石」を立てても、ボットに載った旧ファイルは独立に生き続ける。知識ファイルは「正本のコピー」であり、コピーには鮮度管理が要ります。
ここを一言でまとめると、こうなります。
量産の壁は「窓口を増やすこと」ではなく「土台なしに窓口を増やすこと」から生じる 『生成AIの内製化』第5章
最初の1個は「仕様書検索」から
では最初の1個は何にすべきか。多くの規制業界・製造業で勧められるのは**仕様書検索（または社内規程の回答）**です。理由は3つ。①探す時間は誰もが日々失っており、削減幅が体感されやすい（ペインが大きい）。②検索時間の前後比較というシンプルな測定が成立する（効果を測りやすい）。③「生成」でなく「検索・参照補助」なので、規制業界でも適用の合意が取りやすい。
逆に、いきなり文章を作らせるタイプ（報告書の自動生成など）を1個目にすると、何をもって良しとするかの基準が定まらないまま期待だけがふくらみ、最初の成功体験を取り逃しやすくなります。前回の優先度マトリクスで選んだ領域に、この3条件を重ねて初戦を絞る——それが量産の壁を最初から避ける一手です。
まとめ——事実・解釈・使い方
- 【事実/仕様】 知識ファイルは実質RAGで、検索が外れると、断りなく一般知識での回答に切り替わる。一部形式は正本を改訂しても自動では反映されない。
- 【本記事の整理】 「静かな失敗」への三層対策（指示側に絶対事実・引用義務化・答えのない質問で検知）と、量産の3分岐点（分割・評価・版管理）に落とす。三層・3分岐の枠組みは本記事側の整理です。
- 【使い方】 ボットは「入り口」。増やす壁は土台の有無で決まる。最初の1個は仕様書検索から。
窓口だけを磨いても成果は出ません。土台（意味の層）と測定に必ずつないで、はしごを一段ずつ登ること。次回は、この窓口を機密の上で安全に運用するガバナンスを扱います。