∴ GitHub / 趋势仓库
NVIDIA / SkillEvaluator
评估 AI 智能体技能质量并衡量其对任务结果影响的多层框架
- 语言
- Python
- Star
- 3.8k
- Fork
- 524
- 当日新增(11-19)
- +312
- 累计在榜
- 4 天
- 最高名次
- 第 5 名
- 首次上榜
- 2026-11-16
∴ 是什么
SkillEvaluator 是一个基于 Python 的多层框架,用于评估 AI agent 技能的质量和影响。它按三个独立层级工作:Tier 1 验证技能的安全性和规范性,Tier 2 检测语义重叠,Tier 3 进行实时评估以衡量技能对 agent 行为的影响。通过 CLI 或 CI 集成运行,生成报告并提供可执行的反馈。
∴ 解决什么问题
- 验证 AI agent 技能是否安全、格式正确且与 harness 兼容
- 检测技能指导内容是否重复或重叠
- 衡量技能是否真正帮助 agent 改善任务结果
- 提供关键路径的 CI 集成以在 pull request 中检查变更的技能
∴ 怎么上手
- 01安装 uv 和 Git,然后克隆仓库:`git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git` 并进入目录
- 02运行无 LLM 的静态质量检查:`uv run --python 3.13 skillevaluator quality-check src/skillevaluator/tier3/reference_skills/text-analyzer -r cli -r json -o reports/first-quality`
- 03如需使用 NVIDIA Build,设置环境变量 `export SKILL_EVAL_LLM_PROVIDER=nv_build` 和 `export NVIDIA_API_KEY='nvapi-...'`
- 04运行模型驱动的评分检查:`uv run --python 3.13 --extra llm skillevaluator rubric-eval src/skillevaluator/tier3/reference_skills/text-analyzer -r cli -r json -o reports/first-build`
- 05若配置完所有依赖,运行完整流水线:`uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker` 和 `uv run --python 3.13 --extra all skillevaluator validate ./my-skill`
∴ 适合谁
适合开发或维护 AI agent 技能(遵循 Agent Skills 规范)的开发者,以及希望在 CI 中自动化技能质量检查的团队。
∴ 要点
- 支持三种使用方式:直接 CLI、CI 集成(GitHub Actions 和 GitLab CI)、以及作为技能接入 Claude Code 或 Codex 等 agent
- Tier 1 默认集成 SkillSpector 和 Gitleaks 进行技能安全扫描,Semgrep 为可选
- Tier 3 使用 Harbor 开源框架运行沙箱化 agent 评估
- 支持 `--tiers 1` 等参数跳过实时评估或仅做静态检查
- 许可证为 Apache-2.0,支持级别为 Experimental(社区支持,无 SLA)
- 运行可能产生模型或托管沙箱使用费用
许可证 Apache-2.0agent-evaluationagent-pluginsagent-securityagent-skillsagentic-aibenchmarkclaude-codecodexevaluateevaluationpluginplugin-evaluationsecurity-scannerskill-evalskill-evalsskill-evaluationskill-evaluatorskills
解读由 AI 依据项目 README 生成,生成于 2026-11-16,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-16 首次上榜,累计在榜 4 天,最高第 5 名。