生成AI×データ基盤統合
統合対象の見取り図と選定基準を先に決める
価値を生むのはモデル単体ではなく、社内データが意思決定や作業に流れ込む導線です。まず「どのデータが、どの判断・作業を、どのUXで変えるか」を棚卸しします。候補はFAQ、レポート起案、検索・要約、ナレッジ推薦、RPA連携など。ここでRAG（Retrieval-Augmented Generation）か微調整（ファインチューニング）かを決めます。
- RAG向き：更新頻度が高い、権限が細かい、根拠提示が必要（監査/説明責任）。
- 微調整向き：定型文書生成、社内言い回し/フォーマットの刷り込み、ドメイン語彙が固定。
モデルは用途ごとに分けても構いません。対話UIはChatGPT、長文要約はClaude、分類・タグ付けはGeminiのように役割分担すると安定します。開発の生産性向上にはCopilotの併用も現実的です。プライバシーやデータ越境の制約が強い場合は推論先をリージョン固定し、社外送信前にフィルタ処理を入れる設計が無難です。
統合対象データは3層で管理すると破綻しにくいです。(1)正本（DWH/データレイク）、(2)検索用の埋め込みと索引、(3)プロンプトに流し込む一時ビュー。層ごとに所有者・更新頻度・SLAを明確化し、責任の曖昧さをなくします。
実装パターン：RAG×データ基盤の標準フロー
標準フロー
実務での定番は次の流れです。
- 取り込み：DWH、ファイルストレージ、チケット、Wikiから変更分のみ取得。OCRは再現率重視で二段（軽量→重）に分けます。
- 整形/分割：章や見出し単位でチャンク化（400〜800トークン、オーバーラップ10〜15％）。メタデータ（部門、機密区分、更新日、権限タグ）を必ず付与。
- 埋め込み生成：バッチで実行し、バージョンを管理。ベクトルはリージョン内で暗号化保管。
- 索引：メタデータ＋ベクトルの二層インデックス。まずメタデータで絞り、次にベクトル近傍検索で類似上位k（例：k=8）。
- 推論：プロンプトに根拠スニペットを差し込む。回答は根拠リンク付きで返却。
- ガードレール：機密判定、禁止テーマ、PIIマスキング、社外送信ブロックをフィルタで前段に。
- キャッシュ：セマンティックキャッシュで重複質問を短絡。回答と根拠のハッシュで再利用率を測定。
性能チューニングは上から順に効きます。（a）メタデータ絞り込みの精度、（b）チャンク粒度、（c）プロンプトの根拠配置。レイテンシ目安はP95で2〜3秒、社内FAQなら5秒超はストレスになります。費用は「取得→索引→推論」の3勘定で可視化し、1回答あたり上限コスト（例：8円）を超えた場合は要約深度を落とす等のデグレード戦略を決めておきます。
失敗しやすいポイント
- 全文どり込み：PDF丸投げは埋め込みが冗長化。セクション単位で構造化を。
- 権限の後付け：索引後にRBACを当てると漏洩リスク。索引前に閲覧可能集合でスコープを限定。
- プロンプト固定：業務や制度改定で条件が変わるため、プロンプトはGit管理しバージョンと評価を紐付け。
ガバナンスと運用：権限・監査・品質KPIを回す
権限・セキュリティ
- RBAC/ABACの引き当て：ユーザー属性（部門、職位、雇用形態）でメタデータをフィルタ。
- 行・列レベルセキュリティ：DWHのポリシーを索引層にも反映。権限外チャンクは検索候補に載せない。
- PII対策：PIIの検出は軽量分類器＋LLMの二段フィルタ。送信前マスキングと監査ログで再現性を担保。
運用KPIと評価
- 検索精度：R@k、nDCG。週次でチャンク粒度とkをAB比較。
- 回答品質：社内評価基準（正確性、網羅性、引用妥当性）を5段階で。ハルシネーション率を月次<5％に。
- 体感速度：P95レイテンシと成功率（タイムアウト/ポリシーブロック含む）。
- 単価：1回答あたり原価、セマンティックキャッシュ命中率、ベクトル再計算比率。
PoCは3週間で十分です。ユースケース2件、データ種3つ、評価指標3つに絞り、閾値を事前合意します。通過基準の例は「正答率≥85％、P95≤3秒、原価≤8円、情報漏洩ゼロ」。
身近な企業活用例：地方スーパーのFAQボット再設計
最初はChatGPTに社内規程PDFを投げるチャットを立ち上げましたが、根拠の齟齬や最新価格改定の反映遅れが多発。月間利用は伸びたものの、正答率62％、P95 7秒、推論費用が予算超過という状況でした。
改善ではRAGへ転換。社内Wikiと規程PDF、店舗別オペマニュアルを毎晩差分取り込み。見出し単位で600トークンに分割、部門・店舗・機密区分のメタデータを付与。権限は人事情報からABAC化し、索引時にスコープ制限。長文の要約と正本化はClaudeでバッチ処理、製品タグ付けはGeminiで分類、最終応答はChatGPTで生成という役割分担にしました。値引きやキャンペーン情報は1時間ごとに短チャンクで再索引し、古い在庫情報が返らないよう時間減衰スコアを適用。セマンティックキャッシュを導入し、同一意図の質問は根拠と回答を再利用しました。
結果、正答率は89％、P95は2.3秒、月間原価は40％削減。店舗スタッフの一次問い合わせは3割減り、バックオフィスの対応時間が週あたり計18時間削減されました。初期の失敗要因は「全文投げ込み」「権限の後付け」「プロンプトの硬直化」。再設計では「二層索引」「権限前置」「プロンプトのバージョン管理」が効きました。導入の意思決定は「正答率≥85％を2週間維持できるか」「更新遅延が最大何分か」「人件費換算の削減額が原価の3倍以上か」を閾値にして妥当性を判断しています。
生成AIは単体では“賢い検索エンジン”止まりになりがちですが、データ基盤と統合し、権限・根拠・更新性を一体で設計すると業務の意思決定に耐える仕組みになります。生成AIプラットフォーム事業としては、この統合をプロダクトと運用の両側から持続可能にする設計（データフロー、評価、権限、コスト可視化）が中核になります。
