【核心功能】:用于在任意硬件与量化下逐项爬山优化本地大模型服务速度的技能,覆盖单人与并发解码、投机解码、预填充、KV 缓存大小、启动时间与首 t…
用途 Use —— 用爬山法压榨本地推理速度
来源 Source —— 个人仓库 · 多语言/文档 · 更新于 —
Job · 职业方向
以下是站内标注为适合「推理工程师」的全部条目,按 Stars 热度排序。每个条目都讲清了它是什么、能做什么、该怎么用,可直接跳转 GitHub 仓库核对。
请留意:这份清单偏「相关」而不是「专属」 —— 该岗位的 2 个条目几乎全部同时被归入其它职业(专属 0 个,排他率 0%)。也就是说这里的排序主要反映仓库热度,而不是「这个岗位必须掌握」。想收窄范围,可以用下面的入口带着职业去目录页叠加关键词。
【核心功能】:用于在任意硬件与量化下逐项爬山优化本地大模型服务速度的技能,覆盖单人与并发解码、投机解码、预填充、KV 缓存大小、启动时间与首 t…
用途 Use —— 用爬山法压榨本地推理速度
【核心功能】:面向 AI 基础设施工作的 SKILL.md 目录集,覆盖 SGLang、vLLM、TensorRT-LLM 与 TokenSpe…
用途 Use —— 把推理框架运维经验沉淀为技能
→ Also relevant · 相关职业方向