NVIDIA は 2026 年 8 月 21 日、AI エージェントに追加する "スキル" (プロンプト・ツール・手順のセット) が実際にエージェントの性能を上げているかを測定する OSS フレームワーク SkillEvaluator を公開しました。スキルを配布・共有する開発者が増える一方で、その効果を定量的に検証する手段が乏しかった課題に対応します。
主なポイント
- 3 段階評価: (1) 決定的な品質ゲート (2) 既存スキルとの意味的重複検知 (3) 隔離環境での実タスク実行によるライブ評価
- 同一モデル・同一タスクで「スキル有り／無し」を比較し、正確性・発見率・有効性・効率を計測する
- NVIDIA 検証済み 30 製品・300+ スキルでベンチマークしたところ、正確性は平均 41 ポイント、有効性は 39 ポイント向上したと報告
- 合成評価データセット生成機能を備え、少数の代表タスクからテスト集合を自動生成できる
- リポジトリ: NVIDIA/SkillEvaluator (GitHub 公開)
出典: Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator