生成AI失敗事例分析

現場で起きがちな失敗パターンと見抜き方

成果が出ない導入は、戦略ではなく設計と運用のほころびから始まります。早い段階で「どこが危ないか」を可視化できると後戻りコストが激減します。

• PoC沼化：小さな実験が増えるだけで意思決定につながらない。見抜き方＝「本番に上げる判定条件（品質・コスト・リスク）の合意が文書化されているか」
• 幻覚と根拠欠落：回答の自信は高いが裏取りがない。見抜き方＝「出力に根拠URL/ドキュメントID必須」の仕様になっているか
• データガバナンスの穴：社外送信・ログ共有の制御が曖昧。見抜き方＝「許可された接続先とPIIマスキング方針の一覧があるか」
• 評価不在：良し悪しが担当者の感覚に依存。見抜き方＝本番想定のゴールデンセット（最低200件）と自動評価実行の仕組みがあるか
• ユーザー不在：要件は充実、実利用はスカスカ。見抜き方＝「最初の10人のパワーユーザー」が特定され、週次で改善要求が回っているか
• コスト見積りの甘さ：モデル単価だけ見て安心。見抜き方＝平均トークン/呼び出し、キャッシュ率、再試行率を含む式でTCOを試算しているか
• ベンダーロック：特定プロバイダ前提の作り。見抜き方＝ChatGPT/Claude/Gemini等に切替できる抽象APIと品質差分のダッシュボードがあるか

身近な企業活用例：中堅ECの失敗→再起

CSのメール回答を自動化しようとChatGPT APIを直結。社内FAQを貼り付けずに汎用プロンプトで開始した結果、在庫や返品ポリシーで誤案内が続出し、返品率が前月比+5%に。開発部はCopilotに私有コード片を貼り付けて相談し、外部送信の監査が効かずセキュリティ部門が停止を指示。商品説明の自動生成ではGeminiで流暢なコピーが量産されたが、根拠が無く一部に他社サイトの表現と酷似が見つかり公開中止。推論費は月300万円まで膨張し、経営会議で凍結されました。

建て直しのアプローチ

• データ接続の再設計：社内ナレッジ、返品規約、在庫APIをRAGに統合。PDF/Notionを500字前後でチャンク化し、メタデータ（改訂日・部署）を付与。回遊性を高めるため再ランキングを導入。
• モデルの使い分け：FAQは軽量モデル（例：Geminiの高速系やChatGPTのmini）を既定、根拠生成や長文要約はClaudeへエスカレーション。モデル切替はスコア（正確性・遅延・コスト）で自動ルーティング。
• 出力仕様の固定：全出力はJSONで「answer」「citations[]」「risk_flag」を強制。根拠ゼロは自動的に人手キューへ。
• 安全対策：PIIと注文IDは前処理でマスキング。プロバイダのデータ保持オプトアウトを徹底し、キーはプロジェクト・ユーザー単位で分離。
• 評価運用：問い合わせ200件のゴールデンセットを整備し、正確性/根拠一致/トーン/禁止語を自動評価。週次で回帰テスト、閾値を下回るとリリース停止。
• 人手の関与：商品説明はドラフトをClaudeで生成→バイヤー承認→ChatGPTで校正→公開の二段階承認。
• コスト最適化：キャッシュとプロンプト短縮で平均トークン40%削減。高負荷時間帯はバッチ処理に切替、再試行率も観測。

3カ月後、正確性は+18ポイント、一次応答時間は-35%、返品率は-2.1pt改善。推論費は-42%で月170万円に、Copilotのガイドライン整備でコード漏えいリスクも解消しました。

設計の勘所：データ・評価・運用ガードレール

データ統合とRAG

情報源が曖昧だと幻覚は止まりません。文書は300〜800字でチャンクし、タイトル/更新日/アクセス権のメタデータを必須に。埋め込みは更新差分のみ再計算し、類似度の上位Kに再ランキングを噛ませると精度が安定します。FAQと構造化API（在庫、価格）は別ルートで結合し、「根拠は文書、数値はAPI」の役割分担を明確にします。

評価指標の作り方

オフライン評価は本番トラフィック比で代表性が最重要。チャネル別（メール/チャット）に200件以上のゴールデンセットを用意し、正確性、根拠一致、トーン、拒否すべき質問の検知を自動採点。オンラインではA/BテストでCSAT、一次解決率、再接触率、平均トークン/呼び出しを追います。赤チーミングは月次で想定外プロンプトを投入し、ガードレールの抜けをチェックします。

プロンプトとツール設計

出力形式はJSON固定、関数呼び出しで外部ツールと結合。冪等性のためタイムアウト/再試行戦略を明記し、バージョン付きプロンプトをレポジトリで管理します。自由作文は創造系（広告・画像）に限定し、ナレッジ参照が要る場面は常にRAG前提で設計します。

セキュリティと権限

データ分類（公開/社内/機密/特機密）を決め、層ごとに送信許可モデルを制御。PIIは前処理でマスク、監査ログには復号不要なトークン化を採用。SCIM/SSOでユーザー権限を同期し、プロジェクト別のレート制限と費用アラートを設定します。

コストとROIを“先に”固める

月額コストは「呼び出し回数×平均入力/出力トークン×単価×（1+再試行率）−キャッシュ削減」で見積もります。埋め込みやベクトルDB、監視、ストレージ、Egress費もTCOに含めます。ROIは「削減工数（時給換算）＋売上寄与（CVR/客単価改善）−TCO」。現実的には軽量モデルで80%を捌き、難問や創造系だけを高性能モデルにルーティングすると黒字化が早まります。モデルスイッチは品質スコアとSLAで自動、ベンダーダウン時はフォールバック。月初に上限予算を設定し、閾値到達でプロンプト切替・キャッシュ強化・出力長制限を自動適用します。

• 短文化：指示とコンテキストを分離し、プロンプトを500字以内に最適化
• キャッシュ：FAQや類似入力はハッシュで命中率を上げる
• モデルミックス：ChatGPT/Claude/Geminiを品質と遅延で自動選択
• 観測：失敗率、根拠欠落率、平均トークンをダッシュボード化し週次で改善

失敗の多くは技術の限界ではなく、プラットフォーム設計の不足に起因します。モデル切替、評価・監査、データ接続、権限制御、コスト配賦を共通レイヤーにまとめることで、各部門の施策は安全に速く回ります。生成AIプラットフォーム事業の価値は、まさにこの“失敗を仕組みで潰す土台”を社内横断で提供し続ける点にあります。