AI 与大模型 · 进阶
本地部署(Self-hosted)
把模型或软件装在自己的电脑、公司服务器上运行,输入和输出都不离开这台机器。换来的是隐私和可控,代价是机器和维护都得自己扛。
TL;DR三十秒版本
- 把模型或整套软件装到自己公司、自己的机器上跑,不借别人的服务器。
- 好处是内容不出门、也不怕哪天被涨价或停服,机器归自己管。
- 代价是硬件、电费和日常维护都得自己扛,出了问题没有现成客服。
Overview详细说说
本地部署指的是不用厂商的云端服务,把模型或整套系统装到你自己掌控的机器上跑。数据从进到出都在你的环境里流转,不发送给第三方。同样的做法也叫私有化部署、自托管。这个说法强调的是谁在跑、数据放在哪,而不是用不用 AI。
有人非这么干不可,主要因为三件事。一是隐私,合同、客户名单、病历这类内容不方便上传到别人的服务器;二是可控,不必担心哪天服务涨价、改规则或者干脆下线;三是有些场合根本不联网,只能在本机跑。换句话说,把数据交给别家之前,先问自己这批内容能不能外发。
另一头是成本。要让大一点的模型跑得动,机器配置不能太差;装好之后还得有人管升级、盯内存占用、处理莫名其妙的故障。机器不一定要顶配,但要撑得住你打算用的那一档模型。买云端服务买的是省心,做本地部署买的是自主,这笔账得按自己的情况算。
最常见的误解是本地部署等于免费、等于不用求人。开源模型本身确实不收费,但硬件、电费、维护时间都是真实支出,出了问题也没有现成的客服可找。判断标准其实很简单:数据敏感、又有人手维护,本地才划算;对个人来说,先用云端往往更省。
Myths常见误解
- ✕以为自己跑就等于免费 ✓开源模型不收费,但机器、电和运维时间都是实打实的开销
- ✕以为装好就不用再管 ✓升级、盯内存、处理故障都得有人做,出问题只能自己查
- ✕以为所有场合都该自己跑 ✓内容不敏感、又没人维护时,先用云端往往更省心
In practice你会在哪用到它
- 医院或律所要处理敏感资料,把模型装在内网机器上跑
- 在完全断网的车间里,让模型在本机离线回答操作问题
- 看到厂商宣布涨价,你庆幸数据一直没离开过自己的服务器
Summary记住这几点就够了
- 把模型或软件放在自己掌控的机器上运行
- 数据不出本机,隐私和合规上更放心
- 不依赖厂商服务,不怕涨价或停服
- 代价是自备机器并承担日常维护
常见问题
本地部署(Self-hosted)是什么意思?
把模型或整套软件装到自己公司、自己的机器上跑,不借别人的服务器。好处是内容不出门、也不怕哪天被涨价或停服,机器归自己管。代价是硬件、电费和日常维护都得自己扛,出了问题没有现成客服。
本地部署(Self-hosted)一般用在什么地方?
医院或律所要处理敏感资料,把模型装在内网机器上跑;在完全断网的车间里,让模型在本机离线回答操作问题;看到厂商宣布涨价,你庆幸数据一直没离开过自己的服务器。
关于本地部署(Self-hosted),最容易搞错的是什么?
以为自己跑就等于免费,其实开源模型不收费,但机器、电和运维时间都是实打实的开销;以为装好就不用再管,其实升级、盯内存、处理故障都得有人做,出问题只能自己查。
本地部署(Self-hosted)要记住哪几点?
把模型或软件放在自己掌控的机器上运行;数据不出本机,隐私和合规上更放心;不依赖厂商服务,不怕涨价或停服;代价是自备机器并承担日常维护。
容易踩的坑 本地部署省下的是隐私和自主,硬件开销和运维时间仍然是实打实的成本。
Also written as你可能还会看到这些写法
这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。
全站第 22 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。