生成AI年間総括レポート
モデル選定の潮流とTCOの再計算
この一年で「万能な1モデル」志向から、用途別に複数モデルを切り替える実装が主流になりました。問い合わせ対応や要約は高性能モデル（ChatGPT, Claude, Gemini）を一部で使いつつ、社内ドキュメント検索や定型変換は軽量モデルで十分という判断が増えています。意思決定の軸は性能だけでなく、遅延・コスト・データ取り扱い基準の総和です。
汎用vs特化の使い分け
高性能モデルは長文推論や曖昧な要求の解釈に強みがあります。一方、FAQ回答やフォーマット変換は中小規模モデル＋良質なプロンプト／テンプレで代替可能です。社内規約や製品仕様など確実性が必要な領域はRAGで根拠提示を前提に設計します。
推論・微調整コストの現実
推論コストは1000トークンあたり数円〜数十円のレンジで、文書自動処理のような高頻度タスクではモデルサイズの差が月次数十万円の差分になります。Fine-tuningはデータ整備と評価運用まで含めると初期80〜300時間の工数が相場で、更新頻度が高い領域ではRAG＋プロンプトの方が総コストが安定します。
ベンダーロックの回避策
API抽象化レイヤーでプロンプト・評価指標・ガードレールを分離し、同一タスクを2モデル以上で常時A/B評価できるようにします。ログはトークン単価・遅延・正答率の3点を標準化。これにより価格改定や品質劣化に即応でき、特定ベンダーへの依存を抑制できます。
現場で効くアーキテクチャ：プロンプト、RAG、エージェント
プロンプト設計の最低限
- 役割・制約・出力スキーマを固定（JSON/表形式はバリデーション前提）
- 禁止事項を明文化（推測回答禁止、根拠URL必須など）
- 少数ショットは社内ベストアンサーを使い回し、季節/法改正で更新
RAG品質のKPI
- 再現率/適合率に加え、引用一貫性（引用被覆率）を可視化
- インデックス更新SLA（例：新文書反映12時間以内）を設定
- クエリ正規化と誘導質問（disambiguation）の導入でノイズを30％以上削減
小さなエージェントから始める
社内SaaSの操作やテンプレ生成は、1〜2ツールに限定したタスク特化エージェントが安定します。対話での自律計画は監査が難しいため、ワークフローを明示化し、各ステップで人間承認を挟みます。Copilot系の補助はコマンド一発ロールバックを用意すると運用が楽です。
ガバナンスとセキュリティ実装の標準形
PIIと機密の扱い
入力前スクリーニングでPII/機密ラベルを検出し、外部送信禁止ルールを適用します。保存データは分類別に保持期間を設定し、監査用の要約ログ（入力のハッシュ＋出力＋根拠文書ID）を保管します。社外APIは暗号化とIP制限、テナント分離は最優先です。
評価と監査トレイル
オフライン評価セット（実データを匿名化、200〜500問）を四半期で更新。正答率・有害表現率・根拠提示率・平均応答時間を定点観測し、しきい値割れで自動ロールバック。運用は「誰が・何を・どの根拠で」回答したかを追える設計が肝要です。
著作権と生成物ポリシー
対外公開の画像・文章は学習経路の開示可否を確認し、二次利用範囲を社内ポリシーに明記。デザイン試作はMidjourneyのような生成物を初案とし、社内で再編集して権利クリアを図るのが無難です。
身近な企業活用例：地方メーカーの営業支援AIの再設計
徳島のB2B機械部品メーカー（従業員50名）。当初は個人アカウントのChatGPTで見積文面を作成し始めましたが、顧客固有条件の誤解や機密転記リスクが顕在化。問い合わせ返信もばらつきが大きく、受注率が停滞しました。
改善では、社内NASの技術資料と価格表をRAGで統合、プロンプトに「根拠必須」と出力スキーマを定義。モデルは日常応答を軽量、複雑見積はClaudeかGeminiへ自動ルーティング。営業が最終承認するステップゲートを用意しました。評価は過去一年のメール200件でオフライン検証し、正答率と引用被覆率をKPIに設定。導入後、平均返信時間は3.2時間→1.4時間、誤回答率は18％→4％、受注率は+3.1pt。月間コストは推論4万円前後で、既存SFA連携により重複作業が減りました。二ヶ月目に専門用語の言い換えで誤誘導が再発したため、用語集をプロンプトに固定し、曖昧クエリは確認質問を必須化して沈静化しました。
最終的に、社内ナレッジ更新SLAを「営業資料は24時間以内反映」、評価セットは四半期更新にルール化。A/BでGeminiとClaudeを並走させ、価格改定時も切替でサービス継続できました。
総括として、今年は「一発で賢いAIを作る」時代から、「業務ごとに最小限の設計を積み上げ、継続評価で守る」運用に軸足が移りました。モデル多様化と規制強化の中で、抽象化レイヤー、評価基盤、データガバナンスを揃えることが、生成AIプラットフォーム事業の競争力を決めます。単一の機能よりも、切替・可視化・責任ある運用を支える土台が来年の成長率を左右します。
