∴ GitHub / 趋势仓库

NVIDIA / SkillEvaluator

评估 AI 智能体技能质量并衡量其对任务结果影响的多层框架

语言
Python
Star
3.8k
Fork
524
当日新增(11-19)
+312
累计在榜
4 天
最高名次
第 5 名
首次上榜
2026-11-16
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

SkillEvaluator 是一个基于 Python 的多层框架,用于评估 AI agent 技能的质量和影响。它按三个独立层级工作:Tier 1 验证技能的安全性和规范性,Tier 2 检测语义重叠,Tier 3 进行实时评估以衡量技能对 agent 行为的影响。通过 CLI 或 CI 集成运行,生成报告并提供可执行的反馈。

∴ 解决什么问题

  • 验证 AI agent 技能是否安全、格式正确且与 harness 兼容
  • 检测技能指导内容是否重复或重叠
  • 衡量技能是否真正帮助 agent 改善任务结果
  • 提供关键路径的 CI 集成以在 pull request 中检查变更的技能

∴ 怎么上手

  1. 01安装 uv 和 Git,然后克隆仓库:`git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git` 并进入目录
  2. 02运行无 LLM 的静态质量检查:`uv run --python 3.13 skillevaluator quality-check src/skillevaluator/tier3/reference_skills/text-analyzer -r cli -r json -o reports/first-quality`
  3. 03如需使用 NVIDIA Build,设置环境变量 `export SKILL_EVAL_LLM_PROVIDER=nv_build` 和 `export NVIDIA_API_KEY='nvapi-...'`
  4. 04运行模型驱动的评分检查:`uv run --python 3.13 --extra llm skillevaluator rubric-eval src/skillevaluator/tier3/reference_skills/text-analyzer -r cli -r json -o reports/first-build`
  5. 05若配置完所有依赖,运行完整流水线:`uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker` 和 `uv run --python 3.13 --extra all skillevaluator validate ./my-skill`

∴ 适合谁

适合开发或维护 AI agent 技能(遵循 Agent Skills 规范)的开发者,以及希望在 CI 中自动化技能质量检查的团队。

∴ 要点

  • 支持三种使用方式:直接 CLI、CI 集成(GitHub Actions 和 GitLab CI)、以及作为技能接入 Claude Code 或 Codex 等 agent
  • Tier 1 默认集成 SkillSpector 和 Gitleaks 进行技能安全扫描,Semgrep 为可选
  • Tier 3 使用 Harbor 开源框架运行沙箱化 agent 评估
  • 支持 `--tiers 1` 等参数跳过实时评估或仅做静态检查
  • 许可证为 Apache-2.0,支持级别为 Experimental(社区支持,无 SLA)
  • 运行可能产生模型或托管沙箱使用费用
许可证 Apache-2.0agent-evaluationagent-pluginsagent-securityagent-skillsagentic-aibenchmarkclaude-codecodexevaluateevaluationpluginplugin-evaluationsecurity-scannerskill-evalskill-evalsskill-evaluationskill-evaluatorskills

解读由 AI 依据项目 README 生成,生成于 2026-11-16,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-16 首次上榜,累计在榜 4 天,最高第 5 名。

[object Object]2026-11-16 +1222026-11-17 +8732026-11-18 +8692026-11-19 +312
每日新增 Star · 2026-11-16 至 2026-11-19 · 共 4 个在榜日峰值 +873
日期名次当日新增总 Star
#5+3123,825
#6+8693,500
#10+8733,094
#12+1221,783