SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态
AI 与智能体技能 模型评估与对齐 GitHub 榜单排名 #733 跨平台

OpenJudgeagentscope-ai/OpenJudge

为 LLM 与 Agent 的输出提供可复用的自动评判(grader)能力,把「好不好」变成可计算的分数与理由。核心功能要点包括:1.【多维度打分】:对模型回答按正确性、相关性、安全性等维度逐项给出评分与判定理由,替代人工逐条阅读;…

还没有人评分 我要评分
Stars851
Forks73
Watchers851
Open Issues14

Install一键安装

待确认

这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:

git clone https://github.com/agentscope-ai/OpenJudge.git

Overview功能介绍

核心功能

为 LLM 与 Agent 的输出提供可复用的自动评判(grader)能力,把「好不好」变成可计算的分数与理由。核心功能要点包括:1.【多维度打分】:对模型回答按正确性、相关性、安全性等维度逐项给出评分与判定理由,替代人工逐条阅读;2.【Agent 轨迹评估】:对智能体多步执行过程(工具调用、中间决策)进行过程级评判,定位是哪一步出错而非只看最终答案;3.【奖励信号生成】:输出可用于奖励模型训练与 RLHF 偏好对齐的分数/偏好数据,把评估结果直接接入训练回路;4.【技能化封装】:以 skill 形式组织评判规则与提示词,便于在不同评测任务间复用与替换评判标准。

适用场景

模型上线前的回答质量抽检、Agent 任务成功率与过程合规性评估、构造奖励模型训练集、RLHF 偏好数据标注与校验、评测集自动判分与回归对比。

适用职业

AI / 算法工程师、数据分析师 / 数据工程师、测试 / QA 工程师。

Topics主题标签

Rating用户评分

还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。

给这个技能打分

填了才会进入下面的「按职业平均」。

每个 IP 只能投一票,投出后不能修改,请一次选准。不收集账号,也不用登录。

Repository仓库信息

技能 ID1104
数据来源GitHub
仓库全名agentscope-ai/OpenJudge
所属分类AI 与智能体技能 / 模型评估与对齐
主要语言Python
开源协议Apache License 2.0
默认分支main
GitHub 仓库 ID1015852565
节点 IDR_kgDOPIyuFQ
榜单排名#733 (来源榜单内名次)
全站热度排名#977 (按 Stars 实时计算,共 5833 条)

GrowthStar / Fork 增长

数据还在累积 首次记录于 2026-09-23,要攒够两天的记录才画得出趋势。

Timeline时间线

仓库创建2025-07-08 06:17:012025-07-08
资料最后更新2026-10-26 12:05:1322 天前
最近一次代码推送2026-09-11 07:11:092 个月前

Commit更新记录

由提交人 chr6192 提交,主要更新类型为:新增功能与能力扩展。提交说明:feat(skills): reorganize skills/ into domain suites (#189)。带来了新的能力与可配置项,扩展了使用场景。

d1e0642 chr6192 2026-09-11

Next steps接下来看什么