引き継ぎ資料: AIエージェントアプリ設計の方法論(内容の網羅的整理)

本資料は、AIエージェントを用いたアプリ開発における設計方法論の議論結果を網羅的にまとめた引き継ぎ資料である。スライドの構成・枚数・表現は引き継ぎ先の判断に委ねる。

1. 出発点と問題設定

• 出発点の問い: AIエージェントを用いたアプリ開発において、AI処理部の性能を整理したい
  1. アプリのユーザが投げてくる内容をAIが理解できるか(入力理解)
  2. アプリのユーザが期待することは何か(期待の定義)
  3. AIがユーザの期待することを回答できるか(回答能力)
• 議論の結果、この3項目は最終的に「入力目録・期待目録・可能目録」として方法論の中核に位置づけられた(§6)
• 目的の明確化の過程:
  • 「性能評価(テストセットでスコアを測る)」ではなく、「利用する特定のAIモデルの性能でできることの整理」= 能力の地図づくりが目的
  • さらに絞り込み: フロンティアモデル(高性能・多機能)の利用を前提とした上で、それでも解決できない領域をどう整理し、設計判断(インタフェース・ハーネス・成果物契約)につなげるかが論点

2. 議論の基礎概念

2.1 意図の型と観点展開(ピクニックの例)

• 「明日の天気は?」と「明日はピクニック日和?」は表層的には同じ天気の質問だが、意図の型が異なる
  • 前者は情報要求(事実を返せば完了)
  • 後者は判断要求(評価基準を補完し、判断+根拠を返す)
• さらに「ピクニック日和?」は天気だけの質問ではない。天気・目的地の混雑度・花粉・施設の営業状況など、複数の情報領域にまたがる関心事の束を圧縮した質問である(= 複合観点)
• したがって意図理解の本質は、単一の意図ラベルへの分類ではなく、質問を関連する観点の集合に展開できるか(観点展開)にある
• 観点展開の評価軸: 観点の網羅性(再現率)/観点の妥当性(適合率)/観点ごとの情報取得/統合判断
• 観点の正解集合は人・文脈により揺れる(花粉症の人には花粉は必須観点)。「必須観点」と「あれば加点の観点」に分けると扱いやすい
• 軸の整理: 「情報要求 vs 判断要求」の軸と「単一観点 vs 複合観点」の軸は独立。「明日の天気は?」=単一観点の情報要求、「ピクニック日和?」=複合観点の判断要求

2.2 フロンティアモデルでも埋まらないドメインギャップの類型

フロンティアモデルの汎用能力は前提として買った上で、特定ドメインで残るギャップは「なぜ解けないか」の原因種別で分類できる。原因によって打ち手が全く違うため:

• 知識ギャップ: ドメイン知識が学習データにない(社内固有用語、非公開ノウハウ、最新規格)→ RAG・ツールでの知識注入
• 暗黙基準ギャップ: 知識はあるが、そのドメインで「良い」とされる判断基準・作法が一般常識とズレる → プロンプトでの基準明文化・few-shot