SkillPedia Skills Encyclopedia
中文 EN

技能 2026-09-15 08:19 UTC

SCUT_CS

由提交人 AlexBybye 提交,主要更新类型为:测试完善与质量保障。提交说明:Merge pull request #69 from AlexBybye/ab-test/agent-action-shadow。补充了测试用例,回归覆盖更完整。

AlexBybye 5845444 AlexBybye/SCUT_CS

Commit提交信息原文

Merge pull request #69 from AlexBybye/ab-test/agent-action-shadow

# 第三期智能仓库建设——harness改进计划完成(memory/agent loop/retrieval enhance/context/tool calling)
A/B分支平衡了成本和检索效率,rule为master基线;
`export SCUT_SENIOR_AGENT_DECISION_MODE=shadow`
A/B 后检索决策模式:rule 为默认确定性基线;可改为 shadow、model 或 deterministic 做对照实验。
- rule:默认、纯确定性基线
- shadow:模型决策只记录,不影响流程
- model:模型可决定是否补检索
- deterministic:基于候选证据的保守规则决定是否补检索

本次核心改动如下:
- RRF双路融合建立初期评测基线,hybrid方案优化,recall@5/20/MMR各提升2~4个点
- agent loop决策新增上述四个可控方案,rule为最稳定方案,shadow为可控决策,model为自主决策,deterministic为规则决策
- 解耦了私人知识库存储与提交公共知识库贡献模块,统一到了个人知识管理平台
- 优化了记忆系统,之前采用的是本次输入的2000字和历史上文最近的2000字;现在新增了
仅同一会话内、已完成的最近 6 轮问答进入模型上下文;每个用户问题和助手回答仍截断至 2,000 字符;后续检索只携带最近 2 条用户问题,每条最多 400 字,组合查询最多 1,200 字符;实现滚动摘要来有效避免关键结论丢失。
- 第三期第六代计划为流式接受,可以大幅度优化用户等待时间除了trace之外的页面静态问题,介于本项目的事件驱动,证据决策的设计会非常不稳定,短期内不会迭代,作为长期计划保留。

### 想体验本产品并提出意见同学联系本人,本项目尚未迁移服务器,考虑到服务器请求openrouter网关问题以及费用问题,可能长期处于当前产品状态。


<img width="1672" height="941" alt="new1" src="https://github.com/user-attachments/assets/957e54f5-a623-4e48-a161-b88dda6028b7" />