FM を使用して構築されたアプリケーションのパフォーマンスを評価するためのアプローチ
Approaches to Evaluating RAG, Agent, and Workflow Applications
AI 生成試験ガイド v1.1 準拠人による確認：未実施
このページの内容は、AWS 公式の試験ガイドをもとに AI が作成しました。誤りを含む可能性があります。正式な情報は公式の試験ガイドで確認してください。
概要
複合的なアプリは層ごとにする：RAG は「」と「品質」、エージェントは「計画、呼び出し、最終結果」、は「各ステップ」と「全体」。最終回答だけを見ると、どの段階に問題があるか特定しにくい。
Evaluate composite applications in layers: for RAG, retrieval quality and generation quality; for agents, planning, tool calls, and the final result; for workflows, each step and the whole. Looking only at the final answer makes it hard to locate the failing stage.
主な用語
| 日本語 | English |
|---|---|
| けんさくひんしつ | Retrieval quality |
| Context relevance | |
| ちゅうじつせい | Faithfulness / Groundedness |
| Tool-call accuracy | |
| Task completion | |
| / | End-to-end / component-level evaluation |
解説
日本語の解説は準備中です。上の概要と用語表で要点を確認し、確認テストで理解度を確かめてください。
出典：AWS Certified AI Practitioner (AIF-C01) 試験ガイド Domain 3 › Task 3.4
項目名と要約は本サイトによるものです。試験ガイドの原文は公式サイトで確認してください。
読み終えたら「学習済み」にしましょう。確認テストで 80% 以上正解すると「習得済み」になります。
D3 確認テスト 1 へ