evals-skillsai-evals-course/evals-skills
引导 AI 编程助手为具体产品搭建专属的 AI 评测(evals),把「模型效果好不好」从主观感觉变成可量化、可复现的评测结果。核心功能要点包括:1.【评测需求拆解】:引导 Agent 先厘清产品要评测的能力边界与失败模式,…
还没有人评分
我要评分
Stars1.5k
Forks101
Watchers1.5k
Open Issues0
Install一键安装
待确认这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:
git clone https://github.com/ai-evals-course/evals-skills.git
Overview功能介绍
核心功能
引导 AI 编程助手为具体产品搭建专属的 AI 评测(evals),把「模型效果好不好」从主观感觉变成可量化、可复现的评测结果。核心功能要点包括:1.【评测需求拆解】:引导 Agent 先厘清产品要评测的能力边界与失败模式,把模糊的「效果好不好」拆成可检验的评测目标;2.【评测集与用例设计】:指导 Agent 生成贴合真实使用场景的评测用例与输入样本,覆盖典型路径与边界情况;3.【打分标准与自动判定】:协助定义评分维度、评分规则与判定逻辑,让 Agent 产出可自动执行的打分方案而非人工主观打分;4.【评测流程落地】:把评测脚本、运行方式与结果记录串成可重复执行的流程,便于持续回归对比。
适用场景
为产品构建专属 AI 评测集、设计评测指标与打分标准、搭建自动化评测流程、用评测结果驱动提示词与模型迭代。
适用职业
AI / 算法工程师、产品经理 (PM)、测试 / QA 工程师、全栈 / 独立开发者。
Rating用户评分
还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。
Repository仓库信息
| 技能 ID | 923 |
|---|---|
| 数据来源 | GitHub |
| 仓库全名 | ai-evals-course/evals-skills |
| 所属分类 | AI 与智能体开发 / AI 评测与质量保障 |
| 主要语言 | 其他 |
| 开源协议 | Apache License 2.0 |
| 默认分支 | main |
| GitHub 仓库 ID | 1278536566 |
| 节点 ID | R_kgDOTDTrdg |
| 榜单排名 | #544 (来源榜单内名次) |
| 全站热度排名 | #630 (按 Stars 实时计算,共 5833 条) |
GrowthStar / Fork 增长
每天一次快照,记录 Star 与 Fork 的变化过程
- 当前1,481
- 上一记录点 · 09-30 1,384
- 较上一记录点 +97
- 共 2 个记录点 跨度 11 天
- 当前101
- 上一记录点 · 09-30 92
- 较上一记录点 +9
- 共 2 个记录点 跨度 11 天
Timeline时间线
仓库创建2026-06-23 22:23:154 个月前
资料最后更新2026-10-26 11:59:5423 天前
最近一次代码推送2026-09-24 18:21:081 个月前
Commit更新记录
由提交人 hamelsmu 提交,主要更新类型为:新增功能与能力扩展。提交说明:Merge pull request #17 from rhiever/add-write-code-eval。带来了新的能力与可配置项,扩展了使用场景。