FM のパフォーマンスを評価する手法
Methods for Evaluating FM Performance
AI 生成試験ガイド v1.1 準拠人による確認：未実施
このページの内容は、AWS 公式の試験ガイドをもとに AI が作成しました。誤りを含む可能性があります。正式な情報は公式の試験ガイドで確認してください。
概要
FM のには主に 3 つの手法がある：評価（人が採点。実感に近いが遅くが高い）、（標準的な問題集で横並び比較できる）、（マネージドで、自動・人手・に対応）。
Three common ways to evaluate an FM: human-in-the-loop evaluation (people score it; closest to real perception but slow and costly), benchmark datasets (a standard question set for side-by-side comparison), and Amazon Bedrock model evaluation (managed, with automatic, human, and LLM-based evaluation).
主な用語
| 日本語 | English |
|---|---|
| Human-in-the-loop evaluation | |
| Benchmark dataset | |
| Amazon Bedrock model evaluation | |
| Automatic evaluation | |
| LLM-as-a-judge |
解説
日本語の解説は準備中です。上の概要と用語表で要点を確認し、確認テストで理解度を確かめてください。
出典：AWS Certified AI Practitioner (AIF-C01) 試験ガイド Domain 3 › Task 3.4
項目名と要約は本サイトによるものです。試験ガイドの原文は公式サイトで確認してください。
読み終えたら「学習済み」にしましょう。確認テストで 80% 以上正解すると「習得済み」になります。
D3 確認テスト 1 へ