SkillPedia Skills Encyclopedia
中文 EN

inference-optimisation-skillsybil-solutions/inference-optimisation-skill

:用于在任意硬件与量化下逐项爬山优化本地大模型服务速度的技能,覆盖单人与并发解码、投机解码、预填充、KV 缓存大小、启动时间与首 token 延迟,要求在内存上限内且结果通过全上下文稳定性检查。…

还没有人评分 我要评分
Stars1.2k
Forks110
Watchers—
Open Issues—

Install一键安装

待确认

这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:

git clone https://github.com/sybil-solutions/inference-optimisation-skill.git

Overview功能介绍

核心功能

:用于在任意硬件与量化下逐项爬山优化本地大模型服务速度的技能,覆盖单人与并发解码、投机解码、预填充、KV 缓存大小、启动时间与首 token 延迟,要求在内存上限内且结果通过全上下文稳定性检查。工作流强调先算理论上限、一次只改一项、交错对照测量、记录包括失败在内的每次结果,并在发布前锁定干净版本。附 Intel Arc iGPU 等实测提速数据。

适用场景

:推理服务性能调优、KV 缓存配置、投机解码与基准测量。

适用职业

:推理工程师、性能优化工程师与 AI 基础设施团队。

Topics主题标签

Rating用户评分

还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。

给这个技能打分

填了才会进入下面的「按职业平均」。

每个 IP 只能投一票,投出后不能修改,请一次选准。不收集账号,也不用登录。

Repository仓库信息

技能 ID5994
数据来源GitHub
仓库全名sybil-solutions/inference-optimisation-skill
所属分类数据与基础设施技能 / 本地大模型推理调优技能
主要语言未标注
开源协议未标注
默认分支
GitHub 仓库 ID
榜单排名#760 (来源榜单内名次)
全站热度排名#871 (按 Stars 实时计算,共 5897 条)

GrowthStar / Fork 增长

数据还在累积 首次记录于 2026-11-20,要攒够两天的记录才画得出趋势。

Timeline时间线

仓库创建2026-11-20 20:55:164 小时前
资料最后更新2026-11-20 20:55:164 小时前
最近一次代码推送—

Commit更新记录

功能更新:inference-optimisation skill: hardware- and quant-agnostic LLM serving hill-climb SKILL.md procedure (ceilings first, interleaved controls, full-context gates, publishing), references (ceilings, methodology, levers with measured evidence, gotchas, publishing), engine-agnostic harness (bench.py, cei

fda968e v5.5 0xSero 2026-11-16

Next steps接下来看什么