早上八点,一个创业者问我:模型能不能不住在别人的机房里
9月16日早上八点,老陈发来一条五十九秒的语音。
他做工业质检设备,团队六个人,给客户现场部署了几十台带摄像头的机器。方案不复杂:拍图、上传、云端跑大模型、返回缺陷判断。跑了小半年,客户认。
麻烦出在上个月。客户IT部门下了条死命令,产线上的照片不许出厂区网络。
老陈在语音里说得很快,绕来绕去其实就一个问题:模型能不能不住在别人的机房里。
我说能。但你得先想清楚,哪些活留在本地,哪些活送到云上。
这条语音来得挺巧。就在前一天,9月15日,有两组消息几乎是同时出来的。单看都不算头条,凑一起看,味道就变了。
国内一组:两部门提出,加强端侧大模型、计算芯片、存储芯片、操作系统的兼容适配,加快智能体与终端产品深度融合。同一天还有一条,推进第五代精简指令集RISC-V的研发与产业化,支持RISC-V芯片在人工智能、嵌入式系统等领域应用。
海外一组:英伟达、Palantir等公司限制使用OpenAI和Anthropic最先进的AI模型;微软发布临时行为准则,对AI模型的使用做出限制。
一边在把模型往设备里塞。一边在给自己人用最强模型上锁。
很多人把这两条当成不相干的事。我不同意。它们讲的是同一句话:最强的那几个模型,已经贵到、敏感到、重要到不能随便刷了。
先看英伟达这一侧。一家卖算力的公司,卡自己人用最先进的模型——外界怎么解读的都有,但至少说明一件事:企业用最强模型,今天已经不是默认动作,而是一个要写进流程、需要被管理的动作。
再看老陈这一侧,他的处境更实在。几十台设备,每天要判断几千张图。就算数据能上传,账也不对——每张图都丢给最贵的那个模型过一遍,一个月的推理开销比设备本身的维护成本还高。而他真正需要“聪明”的地方,可能只占百分之几:模糊的、没见过的、边缘的那几类缺陷。
剩下九成多,是重复的、稳定的、见过的。
端侧模型的位置,就在这九成里。它不是要替代云端最强的那几个,它是把九成的活在半路截住:能判的直接判掉,可疑的才往上送。
RISC-V 那条消息放在这儿才有意义。端侧不是“塞个小模型进去”这么轻巧。芯片、内存、操作系统、模型压缩、现场运维,是一整套。这一层过去碎得厉害,每家客户一套。现在有人推它标准化。
对做交付的人来说,标准化是好事。标准化意味着你不用从地基开始干,可以从中间往上搭。
苹果那边是同一根筋。新一代 Apple Intelligence 驱动的 Siri 已经在推。手机厂商把模型放进终端这件事,他们比谁都急——那是他们少数能自己说了算的地方。终端厂商把路铺开,做应用的人才有路走。
这里有个容易被忽略的转折。过去两年的默认叙事是“模型会越来越便宜,往上堆就行”。便宜是真的,但便宜不等于免费,更不等于随便用。一个团队每天要跑几十万次推理,再低的单价乘以这个次数,也是一笔要向上汇报的开支。
大公司开始管,是因为账真的在那儿。
还有一条不那么显眼、但在我这里分量不轻:Google 的 Gemini API 已经把“电脑使用”和“深度研究”做成了独立的模型端点。一个能“看见”屏幕、模拟点击和输入的模型;一个能自己规划步骤、跑几百个来源、最后交一份带出处报告的东西。
这条的意义不在 Google 又发了模型,在于代理(agent)从一种提示词技巧,变成了一个模型品类。
过去做智能体,是自己拿一个通用模型,靠提示词、工具调用、状态机把它拼成一个干活的角色。现在厂商直接告诉你:会点鼠标是一个端点,会做研究是一个端点,拿走即用。
这对创业者是双向的。坏消息是,纯靠编排撑起来的那层中间商,会被吃掉一块。好消息是,能干活的模型变便宜了,你可以把力气从造轮子挪到“派活”上。
派活,才是接下来两年最难也最值钱的手艺。
我们做舍予AI智能体,定位写的是“老板的第一支 AI 战队”。交付时有一条规矩几年没变:不替换客户现有的系统,也不教老板写提示词。
第一件事,是把他每天必须有人做的重复动作,一条条列出来,排成一队。然后只问三个问题:
——这个动作做错一次,代价大不大? ——它一天发生多少次? ——它需要的是聪明,还是稳定?

三个问题答完,一支战队的编制基本就定了。有的活交给端侧的轻模型,便宜、快、数据不出门;有的活交给云上的强模型,贵,但一天就那么几次;还有的活必须留给人,因为错一次就够呛。
老陈在电话那头沉默了几秒,说他一直以为模型越强越好。
我说越强越贵,贵的东西要用在刀刃上。
这话说起来轻,真做起来得有人替你算。也是我觉得 OPC 这类小团队接下来一年最有肉吃的地方——不在模型层,在分层调度和现场适配。
同行的判断,我这儿有三条。
数据不出门,会变成一个能明码标价的需求。前两年谈合规,多半谈在 PPT 上,虚。但等“数据不出厂”“数据不出境”写进客户的招标文件,端侧部署就从“技术选项”变成“准入门槛”。会做端侧交付的人,接下来两年不缺活。
难处不在模型,在适配——不同芯片、不同系统、不同摄像头、不同现场网络、断电重启之后还能不能自己爬起来。恰恰是这种脏活,大厂不愿意一家一家上门做。
第二条,模型分层的能力,就是新的成本控制能力。以前拼谁能把模型用起来,现在拼谁能把贵模型的调用次数压下去、效果还不掉。这个能力很难写进融资 BP,但会直接写到毛利上。我们内部有句很土的话:先分清哪些活配得上用最贵的模型。
还有一条,别把所有身家压在一条模型通道上。英伟达、Palantir 这种体量的公司都会给自己人用模型上锁,一个十几个人的团队更没有理由只留一条路。今天最强的那个,三个月后未必是;今天给你开着的那个,下个月可能要审批。多接一条备用通道的成本,远低于某天早上开工发现账号进不去。
说回老陈。他下午要跟客户开会,问我要不要一起听。
我说行,但会前先把那三个问题答一遍。
他问我,是不是得重构整条产线。
我说不用,别一上来就大动。挑一个最痛、最重复、出错代价最小的场景先跑通——比如设备的开机自检,比如每日报表。跑顺了,你才有资格跟客户谈更大范围的改造。
他挂了电话,中午发来一张