模擬試験 3

二つの検品モデルを同じ 100 件の実欠陥で評価しました。甲は 96 件を検出し誤検出 35 件、乙は 92 件を検出し誤検出 15 件でした。再現率 90% 以上かつ人が確認する誤検出は 20 件以下という条件では、どう選びますか。

注文時に返品の有無を予測するモデルです。オフライン精度は高いものの、特徴量に注文の「最終クローズ理由」が含まれ、注文時には値がありません。どう修正しますか。

倉庫で保管場所を割り当てる方策を学ばせます。各ステップの最適行動のラベルはありませんが、シミュレーターで繰り返し行動し、終了時に混雑と遅延に応じた評価を返せます。どの学習が適していますか。

店舗モデルの新版はオフラインでは良好ですが、店舗によって条件が異なります。切り戻し経路を維持し、問題を早期発見する対策はどれですか。（2 つ選択）

遠隔地の工事現場では 100 ミリ秒以内に警報が必要で、外部ネットワークは毎日数時間切断されます。モデルは端末で実行できる大きさで、画像は定期集計にも使います。推論をどう構成しますか。

解約予測のしきい値を下げられます。解約する利用者をより多く検出したい一方、対応担当者の処理能力は固定です。公開前に何をすべきですか。

四つの制約に、最も適した推論方式を組み合わせてください。

配送補助額は規則表に厳密に従って決定し、別に翌月の配送時間を予測します。金額の確定と時間の推定を分けるにはどの構成が適切ですか。

新モデルの正解ラベルは週単位で戻ります。独立した過去データで審査してから少数店舗で試行し、ラベル付きの試行結果が出て初めて拡大できます。順番を選んでください。

研究チームは社内技術文書の要約を行います。一方のモデルは重みを取得できますがライセンスがその用途を認めず、もう一方のマネージドな事前学習済みモデルは利用が許可され品質も満たします。最も妥当な判断はどれですか。

会議アシスタントのコンテキストが上限に近づいています。現在の案件 ID と直近の決定事項は必須ですが、以前の雑談は省けます。次のリクエストをどう構成しますか。

仮に百万入力トークン当たり 2 ドル、百万出力トークン当たり 8 ドルとします。甲の平均は入力 2,000、出力 300、乙は入力 1,500、出力 500 で、品質と遅延は同等です。トークン費用だけで選ぶとどちらですか。

契約書の比較では分割できない二つの文書を同時に入力します。入力は 28,000 トークンで、出力には最低 2,000 トークンが必要です。甲のコンテキスト総上限は 28,000、乙は総上限 32,000 と出力上限 4,000、丙は総上限 64,000 と出力上限 1,000 です。全候補の品質と費用が基準内ならどれを選びますか。

入札要約アシスタントは必須の締切を落としたことも、原文にない応募条件を書いたこともあります。両方を優先して検出するには何を確認しますか。（2 つ選択）

品質確認アシスタントで下書きは 12 分から 7 分に減りましたが、確認は 2 分から 8 分に増えました。最終品質と他の費用が同じ場合、人の作業効率について何が言えますか。

商品説明ツールの利用はまだ少なく、ピークも不規則で、最低利用量は約束できません。各リクエストに即時応答し、当面は利用量に応じて支払いたい場合、どの方式が適していますか。

四つの生成 AI の事業検証目標に、最も直接的な指標を組み合わせてください。

顧客原文を含む処理と保存を承認済みリージョンに限定する方針です。主要エンドポイントは承認済みですが、代替推論経路と異常ログの場所は未確認です。公開前に何をしますか。

エージェントがチケット作成を呼び出した後、通信がタイムアウトして外部システムでの実行結果が分かりません。重複を避けながら自動化を続けるにはどうしますか。

二つのオンライン推論方式は品質と遅延が同じとします。オンデマンドは千回 5 ドル、プロビジョンドは月 320 ドルで 100,000 回まで含み、超過は千回 5 ドルです。月 80,000 回を安定して処理する見込みなら、月の推論費用だけでどう選びますか。

保険金対応アシスタントは、現在の顧客チケットと毎日更新される手順書を使います。コンテキストの予算が厳しい中で、不要な内容を減らしつつ必要な根拠を残す対策はどれですか。（2 つ選択）

承認フローのすべての手順と失敗時の分岐が決まっています。一方、障害診断では途中の結果によって使うツールが変わります。どう編成しますか。

サービスデスクでは事実の正確率が 95% 以上、千回当たりの費用が 8 ドル以下である必要があります。甲は安価ですが代表評価で 93%、乙は 96% で 7 ドル、丙は 98% で 10 ドルです。全候補がデプロイ条件を満たす場合、どう選びますか。

サプライチェーンのアシスタントは、解析可能な固定項目を出力し、信頼できる出典がなければ空欄として担当者に回します。二つの目標に直接対応する対策はどれですか。（2 つ選択）

保守ナレッジベースは手順を取得できても、隣の段落にある適用条件を落としがちです。予算上、手順書全体は渡せず、該当箇所の引用も必要です。まずどこを変更しますか。

現行プロンプトの版が一部の顧客場面で悪化しました。規定では承認済み旧版を先に復元し、問題を再現して修正し、回帰テストに合格させます。四つの手順を並べてください。

ナレッジベースでは意味検索とテナント項目による絞り込みを両立する必要があります。候補 A はベクトルの保存のみ、B はベクトルとテナントメタデータをインデックス化し検索時に絞り込み可能、C は原文のキーワード検索のみです。どれを優先しますか。

四つの診断目標に、最も直接的な評価方法を組み合わせてください。

レポートアシスタントが第三者の添付資料を読むと、資料中の「規則を無視せよ」を指示として扱うことがあります。プロンプトは直せますが外部送信機能は停止できません。どの変更が最も直接リスクを抑えますか。

ファインチューニングの学習損失は下がり続けますが、検証損失は一度下がった後に上がりました。学習と検証の近重複は除外済みで、未知のチケットへの汎化が必要です。どう対応しますか。

文章のファインチューニング用に通常のチケットは多く審査済みですが、まれなエスカレーション案件は部署ごとに異なる基準でラベル付けされています。その案件も公開基準に含まれる場合、まず何をしますか。

ナレッジアシスタントは機器番号と保守担当者への文章の助言を返します。番号は一文字ずつ正しく、助言の表現には幅があります。どう評価しますか。

二つの方法で同種の申請書を 100 件ずつ処理します。甲は総費用 60 ドルで 80 件成功、乙は 66 ドルで 95 件成功です。成功率 90% 以上を満たしてから成功一件当たりの費用を比較する場合、どちらですか。

モデルによる評価で二つの要約システムを比較します。長い回答や、いつも同じ位置に表示される回答が好まれることを懸念しています。どう抑えますか。（2 つ選択）

二つのアシスタントがオフラインの品質審査に合格しました。試行で甲は平均処理時間を減らしたものの苦情率が基準を超え、乙は短縮量が少ないものの苦情率と費用は基準内です。どう判断しますか。

在庫エージェントは残量確認と補充依頼の下書きができます。下書きは自動化できますが、高額補充は承認者の許可が必要です。自動化と承認を両立する設計はどれですか。

公平性のダッシュボードでは全体の再現率が 91% ですが、例数の少ない集団で見逃しが多い疑いがあります。検証データは集団別に分けられます。どう確認し、過大解釈を避けますか。

チャット製品では話題にかかわらず、指定した社内テスト用のコード語をブロックします。コード語を含まない通常の製品説明はそのまま扱います。どのガードレールが最も適していますか。

助成の事前審査には二つのモデルがあります。透明な規則モデルは通常案件で基準を満たし、複雑なモデルは異常を多く見つけますが近似説明しかできません。複雑なモデルは処理順にのみ使え、最終拒否には監査可能な理由が必要です。どう設計しますか。

ニュース分類器は検証で古い事件には強い一方、新しい地域で誤分類が多い状況です。その地域の例が少なく、同じ事件の転載が学習と検証の両方にあります。どの変更で両方に対処できますか。（2 つ選択）

マーケティング部門は公開用のイラストを生成します。必要な許諾を得た素材は参照でき、出所を記録して、類似度の高い出力を公開前に審査する条件です。適合する手順はどれですか。

問い合わせ対応で、一部利用者が AI の助言を変更できない最終決定と受け取っています。効率を維持しつつ、理解と異議申し立てを改善するには何を優先しますか。

購買チームにはモデルカードと特徴量寄与の結果があります。「承認した用途にモデルが適するか」と「今回の予測に影響した入力」をそれぞれ判断するにはどう使いますか。

推論クライアントはインターネットへの出口がないプライベートサブネットにあり、サービスロールだけが指定モデルを呼び出します。プライベートな経路と厳密な権限の両方を満たす構成はどれですか。

アーカイブサンプルは転送前後で同じサイズです。意図しない内容破損を検出し、ファイル自身が持つ検証値だけに信頼を置かない方針では、どう確認しますか。

オンラインアシスタントの監査では、どの利用者がいつどのツールを呼んだか追跡でき、認可トークンや無関係な会話原文は保存禁止です。適合する記録設計はどれですか。

関連する AWS 機能は有効化されています。二つの条件を同時に満たす各監査タスクに、最も直接的な証拠または対応の組を割り当ててください。

請求書の検索結果には正しい金額が含まれますが、生成結果は別の金額を記載しています。出典で裏付けられた金額だけを自動表示する場合、何が最も直接的な対策ですか。

識別情報を除いたデータはリージョンをまたいで分析できますが、顧客を識別できるログ、再現サンプル、バックアップは承認リージョンに置く必要があります。両方を満たす方針はどれですか。

社内向け閲覧専用アシスタントは承認済みです。基盤モデルを変えず、仕入先にも公開して実際の購買要求を開始できるようにします。公開審査はどう扱いますか。