OpenJudgeagentscope-ai/OpenJudge
为 LLM 与 Agent 的输出提供可复用的自动评判(grader)能力,把「好不好」变成可计算的分数与理由。核心功能要点包括:1.【多维度打分】:对模型回答按正确性、相关性、安全性等维度逐项给出评分与判定理由,替代人工逐条阅读;…
还没有人评分
我要评分
Stars851
Forks73
Watchers851
Open Issues14
Install一键安装
待确认这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:
git clone https://github.com/agentscope-ai/OpenJudge.git
Overview功能介绍
核心功能
为 LLM 与 Agent 的输出提供可复用的自动评判(grader)能力,把「好不好」变成可计算的分数与理由。核心功能要点包括:1.【多维度打分】:对模型回答按正确性、相关性、安全性等维度逐项给出评分与判定理由,替代人工逐条阅读;2.【Agent 轨迹评估】:对智能体多步执行过程(工具调用、中间决策)进行过程级评判,定位是哪一步出错而非只看最终答案;3.【奖励信号生成】:输出可用于奖励模型训练与 RLHF 偏好对齐的分数/偏好数据,把评估结果直接接入训练回路;4.【技能化封装】:以 skill 形式组织评判规则与提示词,便于在不同评测任务间复用与替换评判标准。
适用场景
模型上线前的回答质量抽检、Agent 任务成功率与过程合规性评估、构造奖励模型训练集、RLHF 偏好数据标注与校验、评测集自动判分与回归对比。
适用职业
AI / 算法工程师、数据分析师 / 数据工程师、测试 / QA 工程师。
Topics主题标签
Rating用户评分
还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。
Repository仓库信息
| 技能 ID | 1104 |
|---|---|
| 数据来源 | GitHub |
| 仓库全名 | agentscope-ai/OpenJudge |
| 所属分类 | AI 与智能体技能 / 模型评估与对齐 |
| 主要语言 | Python |
| 开源协议 | Apache License 2.0 |
| 默认分支 | main |
| GitHub 仓库 ID | 1015852565 |
| 节点 ID | R_kgDOPIyuFQ |
| 榜单排名 | #733 (来源榜单内名次) |
| 全站热度排名 | #977 (按 Stars 实时计算,共 5833 条) |
GrowthStar / Fork 增长
数据还在累积
首次记录于 2026-09-23,要攒够两天的记录才画得出趋势。
Timeline时间线
仓库创建2025-07-08 06:17:012025-07-08
资料最后更新2026-10-26 12:05:1322 天前
最近一次代码推送2026-09-11 07:11:092 个月前
Commit更新记录
由提交人 chr6192 提交,主要更新类型为:新增功能与能力扩展。提交说明:feat(skills): reorganize skills/ into domain suites (#189)。带来了新的能力与可配置项,扩展了使用场景。