大模型 Agent 落地这一年，坑我都替你们踩过了

2023年底到2024年初那阵子，整个行业像打了鸡血一样。你要是没见过哪个客户拿着 ChatGPT 的 Demo 冲进会议室，说要三个月内把整个客服系统换成 Agent，你可能都不好意思说自己在做 AI 落地。一年过去了，我来讲几个真实的故事。不点名，不吐槽具体公司，只说事。

---

故事一：Agent 的"幻觉自由"

去年夏天，我一个客户找到我们，说想做一个行业知识问答 Agent。他们自己的行业知识库有几百本手册、几万份案例文档，之前用传统搜索做了个问答系统，效果差强人意。听说大模型出来了，觉得"这次肯定能成"。

团队很认真，请了咨询公司做方案，花了两周画架构图：RAG 检索、多轮对话管理、Agent 自主决策、工具调用……图发出去，老板很满意，批了七位数的预算。

三个月后，Demo 出来了。现场演示的时候，业务专家问了一个很刁钻的问题："某某规程的 3.2.1 条关于安全防护的具体要求是什么？"

Agent 回答得有鼻子有眼，引用了"第3章第2节"，还列了四条防护措施。业务专家当场脸色就变了——因为那四条措施里有两条已经废止三年了，第三条适用范围对不上。

Agent 完全没意识到自己在"编"。它只是觉得"根据上下文，这里应该有这么几条"，就自信满满地给你端出来了。

后来团队花了大量精力做知识库清洗、做引用溯源、做置信度过滤。最后的效果是：80% 的问题能答好，但剩下 20% 里，有三成是"看起来很对实际上错得离谱"的。而业务场景里，一个错误答案带来的损失，可以抵消一百个正确答案带来的收益。

这个项目最后没有上线。

我讲这个故事，不是想说 RAG 不行。我想说的是：多数人低估了"看起来对但实际上错"的危害。 Demo 阶段正确率做到 90% 很容易，从 90% 到 95% 要付出两倍成本，从 95% 到 99% 可能要再付出十倍成本。而很多业务场景，95% 的正确率等于不可用。

---

故事二：那个想做"超级 Agent"的甲方

第二个故事更有意思。

一家中型企业，规模不小，年营收几十亿。他们的 CIO 在某次行业峰会上听了某大厂专家讲"企业级 Agent 平台"，回来就要求 IT 部门做规划。需求很宏大：一个 Agent，打通 CRM、ERP、OA、HR 系统，能帮员工处理一切事务。

"一句话就能完成请假、报销、查项目进度、调数据报表、安排会议……"

听起来很美对吧？

他们找了三家供应商比稿，每家都拿出了炫酷的 Demo。最后选了一家最便宜的——嗯，这里你可以先叹一口气。

项目启动后，第一个月，三方会议开了 12 次。为什么？因为甲方自己都说不清楚"一句话完成请假"到底要包含哪些流程。

"请假要审批吗？"

"要。"

"谁审批？"

"部门主管。"

"主管不在呢？"

"自动转副主管。"

"副主管也没有？"

"……那走加签流程。"

"加签流程怎么定义？"

"回去讨论一下。"

这种对话重复了几十次。每个看似简单的"一句话操作"，背后都是一堆业务规则的梳理。Agent 不负责定义流程，它只能执行已经定义好的流程。 而很多企业的流程，自己都没想明白。

六个月后，项目交付了。Agent 能完成的事情大概覆盖了最初设想的 30%。剩下的 70%，要么是业务规则没有共识，要么是信息系统之间打通需要额外花钱，要么是——坦白说——用传统方式操作比跟 Agent 对话更快。

你对着 Agent 说"帮我查一下上个月华东区的销售额"，它要理解意图、调用接口、生成自然语言回复，整个过程 5-10 秒。而熟练的销售运营同事打开 BI 系统，输三到五个参数，3 秒出结果。

Agent 没有让一个本来很快的事情变得更快，它只是让一个本来需要学习的事情变得不需要学习。 而问题是，那些"需要学习的事情"，往往也是"低频率、高复杂度"的，用户本来就不介意花两分钟学习一下。

这个故事我想说的重点是：别为了 Agent 而 Agent。 在决定用 Agent 之前，先问三个问题：这个场景的痛点到底是"操作太复杂"还是"效率不够高"？Agent 解决的是真痛点还是伪需求？不用 Agent 的话，有没有更简单省钱的方案？

---

故事三：Agent 的"人格分裂"问题

这个观察来自我参与评估的一个项目，但我后来在各个团队里反复看到类似的情况。

他们的 Agent 被设计成能处理多种任务：客服问答、工单处理、数据查询、文档生成。测试的时候，每一个功能单独测都还行。一旦混合起来，就开始出各种怪问题。

用户说"帮我查一下我的订单"，Agent 查到了，然后顺便加了一句"需要我帮你申请退款吗？"——它以为每个查订单的用户都想退款，因为训练数据里查订单之后最常见操作就是退款。

用户问了一个涉及安全的问题，Agent 回答完又问了句"今天心情怎么样，想聊聊别的吗？"——语气从一个严肃的客服直接切换成情感陪伴机器人。

最离谱的一次，用户说了一句"你们这系统真难用"，Agent 回复了一大段自我检讨，说"我理解您的不满意，我会不断优化自己……"

一个 Agent 的"人格"不是天然一致的，它取决于提示词、训练数据、上下文窗口里的一切。 如果你给它喂了客服对话数据、销售话术数据、售后安抚数据，又没有做精细化的 prompt 管理，它会在不同的人格之间随机切换。

"工具人"不能有"人格"，但 Agent 天然就有。你不管它，它就会长歪。你以为你在做一个工具，实际上你在养一个东西。 这个东西会学你的语气、你的偏见、你的屁股坐在哪一边。

这可能是我这一年感触最深的一点。很多团队在搭建 Agent 的时候，技术栈考虑得很周全：RAG、function calling、memory、planning……但没有一个人想过"这个 Agent 应该是什么性格"。

---

故事四：评测的魔幻现实主义

这个故事也许是最让我坐不住的。

一个团队做了一套智能文档处理 Agent，目标是帮法务部门自动审阅合同。他们内部测了一个月，准确率从 70% 拉到了 88%，觉得可以上线了。上线第一周，法务团队反馈说"这玩意儿根本没法用"。

为什么？因为他们的测试集是从公开的法律文书网站上扒下来的，里面很多是标准格式、规范表述。而实际到来的合同——手写的扫描件、字体不一的 PDF、夹杂着英文和中文的条款、还有各种公司自己造的"黑话"——跟测试集完全不是一回事。

更致命的是，内部测试的时候，业务专家是被动评测——给一个输入，看输出对不对，对就过，不对就改。但实际使用的时候，法务同事会用各种"奇怪"的方式跟 Agent 交互：一句话里塞三个问题、中英文混着说、打字打到一半修改、一句话里既有需求又有情绪……

测试集里的准确率 88%，实际场景里的准确率可能不到 50%。

这不是个例。我见过的项目里，90% 以上的 Agent 项目在"内部测试"和"真实上线"之间有巨大的鸿沟。 背后的原因很简单：测试集是"已知的已知"，真实场景是"未知的未知"。你永远不知道用户会用什么样的方式跟你的 Agent 对话。

做 Agent 的人最容易犯的错误，就是拿自己的测试标准去衡量用户体验。你设计了 100 个测试用例，每个都过了，觉得自己牛逼。但用户进来，第 101 句话你就崩了。

评测不是 Agent 项目的最后一步，它应该是贯穿始终的一个持续过程。 上线前做一次评测，只是万里长征走完了第一步。

---

故事五：那个"降本增效"的账算对了吗？

最后一个故事，关于钱。

一个制造业客户想用 Agent 替代客服团队的 30% 人力。理由是：每个月客服工资支出好几百万，少 30% 就是每年省几百万。

项目做了半年，Agent 上线了。结果发现：

1. Agent 只能处理流程标准化的那部分问题，大概占了全部咨询量的 25%。剩下 75% 还是需要人工。
2. 25% 的自动化率，意味着可以裁多少人？实际上只能裁 10%，因为剩下的 15% 的工作量分散在所有人手里，没办法单独针对某几个人砍掉。
3. Agent 维护也需要人。Prompt 要持续调优、知识库要更新、出错了要排查。至少需要一个半人。
4. 最意外的成本是"兜底成本"：Agent 答错了，用户投诉升级，高级客服去处理，处理一个升级投诉的时间是处理普通问题的 3-5 倍。

算下来，人力成本节省了不到 10%，但多出了两倍的技术维护成本和隐性风险成本。 客户说"降本增效"，最后"本"没怎么降，"效"也没怎么增。

我不反对用 Agent 降本，但那个账本一定要算对。Agent 的收益计算里，不能只算"替代了多少人力"，还要算"新增了多少维护成本"和"增加了多少风险敞口"。

---

几点不那么"技术"的思考

讲完这五个故事，说几句实在话。

第一，Agent 不是银弹。 这句话听起来像废话，但在过去一年里我见过太多人把 Agent 当成万能药。业务流程没梳理清楚，先上 Agent；数据质量不行，先上 Agent；团队能力不够，先上 Agent。Agent 解决不了组织问题，也解决不了管理问题。它就是一层技能壳，壳子再漂亮，里面的东西不行还是不行。

第二，技术的难点从来不在模型本身。 GPT-4 也好，Claude 也好，国内的模型也好，单论对话能力都已经很强了。真正的难点在工程化：怎么让 Agent 跟老旧系统对接、怎么保证数据的实时性和一致性、怎么处理边界情况、怎么做可观测性和日志追溯、怎么在成本可控的前提下做持续的评测和优化。这些事情不性感，但决定了项目能不能活。

第三，这个行业缺的不是技术人才，是翻译。 我见过太多技术团队跟业务团队各说各话。技术说"上下文窗口、function calling、embedding"，业务说"流程、审批、异常处理"。两边聊不到一块去。能把业务需求翻译成技术方案，再把技术能力翻译回业务价值的人，才是最稀缺的。

第四，慢一点，也许更快。 这一年的教训是：想一步到位做"超级 Agent"的项目，几乎没有成功的。反而是那些从一个小切口开始、只做一件事但做扎实了的项目，慢慢长出了价值。先做一个能查订单的 Agent，做好了再加退款功能，再过半年加退货功能。慢，但稳。

---

写在最后

这一波大模型和 Agent 的热潮，确实带来了很多可能性。但可能性和落地之间，隔着一整条产业链的成熟度差距。工具链不成熟、评测标准不统一、成本模型不清晰、组织协同机制缺失——这些才是真正的瓶颈。

我不是唱衰。恰恰相反，我觉得 Agent 迟早会重构很多行业的工作方式。但那个"迟早"可能是三年，也可能是五年，而不是某些人说的"下个季度"。

别被 Demo 骗了，也别被恐惧驱动。行业的弯路已经有人替你走了，该避的坑还是避一下。

以上，一个在坑里爬了一年的从业者的一点真心话。欢迎讨论，欢迎拍砖。