FM のパフォーマンスを評価するための関連メトリクス
Metrics for Evaluating FM Performance
AI 生成試験ガイド v1.1 準拠人による確認：未実施
このページの内容は、AWS 公式の試験ガイドをもとに AI が作成しました。誤りを含む可能性があります。正式な情報は公式の試験ガイドで確認してください。
概要
よく問われる指標は 4 つ：ROUGE（向け、重視）、BLEU（向け、重視）、BERTScore（で意味の類似度を見る）、LLM-as-a-judge（別の LLM が基準に沿って採点する）。前の 3 つはが必要で、主に文字または意味の類似度を比較する。
Four commonly tested metrics: ROUGE (summaries, recall-oriented), BLEU (translation, precision-oriented), BERTScore (semantic similarity via embeddings), and LLM-as-a-judge (another LLM scores against criteria). The first three compare against reference text.
主な用語
| 日本語 | English |
|---|---|
| Recall-Oriented Understudy for Gisting Evaluation | |
| Bilingual Evaluation Understudy | |
| BERTScore | |
| LLM-as-a-judge | |
| Reference text |
解説
日本語の解説は準備中です。上の概要と用語表で要点を確認し、確認テストで理解度を確かめてください。
出典：AWS Certified AI Practitioner (AIF-C01) 試験ガイド Domain 3 › Task 3.4
項目名と要約は本サイトによるものです。試験ガイドの原文は公式サイトで確認してください。
読み終えたら「学習済み」にしましょう。確認テストで 80% 以上正解すると「習得済み」になります。
D3 確認テスト 1 へ