Harness Engineering：AI Agent从Demo到生产的桥梁

Harness EngineeringAI Agent从Demo到生产的桥梁关键词Harness Engineering AI Agent 工程化落地 可观测性 可扩展性 可靠性 提示工程自动化摘要AI Agent智能代理正从实验室和黑客松里的炫酷Demo快速渗透到各行业的实际业务场景——从客户服务到代码生成从数据洞察到供应链调度。但90%以上的AI Agent Demo都会在试图投入生产时“胎死腹中”核心原因是缺乏一套系统性的AI Agent工程化方法论和工具链。本文将引入Harness Engineering驾驭工程学这一全新概念作为连接AI Agent原型与生产环境的核心桥梁。我们会像给小学生讲“如何把一辆玩具车改造成能跑长途的真赛车”一样深入浅出地拆解Harness Engineering的核心概念、原理、算法和工具链并结合完整的Python项目实战手把手教你把一个简单的问答Demo AI Agent打造成具备可观测性、可扩展性、高可靠性、高安全性的生产级AI Agent。最后我们还会展望Harness Engineering未来的发展趋势和挑战为你打开一扇通往AI Agent工业化的大门。背景介绍目的和范围目的在AI大模型LLM爆发的这几年里很多企业和开发者都体验过“做一个AI Agent Demo有多简单”——用LangChain、AutoGPT或BabyAGI这类框架花几小时甚至几十分钟就能写出一个能联网查资料、写邮件、订机票的AI助手。但当他们试图把这个Demo放到真实的业务场景里时就会遇到无数的“坑”模型调用超时、回答错误率突然飙升怎么办如何控制AI Agent的执行成本防止它无限调用API烧钱敏感业务数据被AI Agent不小心泄露给大模型服务商怎么办如何让业务人员而不是程序员快速调整AI Agent的行为如何监控AI Agent的每一步操作出了问题能快速定位和修复本文的核心目的就是要帮你解决这些问题——引入Harness Engineering这套AI Agent专用的工程化方法论和最佳实践教你从0到1构建一个生产级的AI Agent系统。范围为了让内容更聚焦、更实用本文的讨论范围将限定在以下几个方面Harness Engineering的定义和核心价值我们会先明确什么是Harness Engineering它和传统软件工程、传统MLops有什么区别以及它能为AI Agent的落地带来哪些核心价值。Harness Engineering的核心概念体系我们会像搭积木一样逐步拆解Harness Engineering的9大核心概念——可观测性Agent Observability、可扩展性Agent Scalability、可靠性Agent Reliability、安全性Agent Security、提示工程自动化Prompt Engineering Automation、执行成本控制Execution Cost Control、人机协作机制Human-in-the-Loop、版本控制Agent Versioning和A/B测试Agent A/B Testing。Harness Engineering的核心算法和工具链我们会介绍实现这些核心概念所需的关键算法比如LLM输出过滤算法、提示优化算法、成本预估算法等以及目前主流的开源和商业工具链比如LangSmith、Langfuse、Hugging Face Inference Endpoints、OpenAI Assistants API等。完整的Python项目实战我们会从一个最简单的“Python代码助手”Demo AI Agent开始逐步加入Harness Engineering的各个核心功能最终打造成一个生产级的AI Agent系统。Harness Engineering的实际应用场景和最佳实践我们会分享Harness Engineering在客户服务、内容创作、DevOps辅助等几个典型场景的应用案例并总结出一套通用的生产级AI Agent落地最佳实践。Harness Engineering的未来发展趋势和挑战我们会展望Harness Engineering未来3-5年的发展方向并讨论目前面临的一些核心挑战比如多Agent协作的工程化、边缘AI Agent的工程化等。我们不会深入讨论传统大模型的训练、微调或推理原理——如果您对这部分内容感兴趣可以参考我们之前的博客《大模型入门从Transformer原理到ChatGPT实战》。非LLM驱动的AI Agent比如强化学习驱动的游戏AI Agent——本文讨论的AI Agent特指以LLM为核心决策引擎的“通用AI助手”或“任务型AI助手”。过于复杂的多Agent协作系统——我们会简单介绍多Agent协作的工程化思路但不会深入讨论复杂的多Agent架构比如Swarm Intelligence。预期读者本文的预期读者主要包括以下几类AI/ML工程师和数据科学家如果你已经有一些大模型和AI Agent的开发经验但不知道如何把Demo落地到生产环境本文会给你一套完整的解决方案。后端/全栈工程师如果你有传统软件工程的经验但对大模型和AI Agent不太熟悉本文会带你快速入门AI Agent的开发并重点讲解如何用传统软件工程的思路和工具来“驾驭”AI Agent。产品经理和业务负责人如果你想在公司里推动AI Agent的落地但不知道如何评估AI Agent的生产就绪度或者如何和技术团队沟通AI Agent的需求本文会给你一套清晰的框架。对AI Agent工业化感兴趣的爱好者如果你只是对AI Agent和Harness Engineering这个新概念感兴趣本文也会用通俗易懂的语言和有趣的例子让你快速理解核心内容。为了让所有预期读者都能看懂本文会尽量避免使用过于专业的大模型术语或者在使用这些术语时给出通俗易懂的解释。同时项目实战部分的代码也会写得非常详细每一行代码都会有注释。文档结构概述本文的结构就像“造一辆真赛车的流程”背景介绍我们先说明为什么要造真赛车为什么AI Agent需要工程化以及我们要造什么样的赛车本文的讨论范围。核心概念与联系我们会介绍造真赛车需要的所有核心零件Harness Engineering的9大核心概念以及这些零件之间是如何配合的核心概念之间的关系。核心算法原理 具体操作步骤我们会讲解如何制造这些核心零件实现核心概念的关键算法以及如何把这些零件组装起来AI Agent工程化的具体操作步骤。数学模型和公式 详细讲解 举例说明我们会用一些简单的数学模型和公式来量化AI Agent的性能指标比如错误率、响应时间、执行成本等并给出具体的例子。项目实战代码实际案例和详细解释说明我们会从一辆玩具车简单的Python代码助手Demo开始逐步加入各种赛车零件Harness Engineering的核心功能最终造出来一辆能跑长途的真赛车生产级的AI Agent系统。实际应用场景我们会分享这辆真赛车在不同赛道客户服务、内容创作、DevOps辅助等的表现。工具和资源推荐我们会推荐一些造真赛车的好工具和学习资源。未来发展趋势与挑战我们会展望未来赛车的发展方向比如自动驾驶赛车、电动赛车以及目前面临的一些挑战比如赛道条件恶劣、燃油不足等。总结学到了什么我们会回顾一下造真赛车的整个流程和核心零件。思考题动动小脑筋我们会提出一些问题鼓励你进一步思考和实践。附录常见问题与解答我们会解答一些造真赛车过程中常见的问题。扩展阅读 参考资料我们会推荐一些更深入的学习资源。术语表为了避免读者混淆一些相似的概念我们先在这里列出本文会用到的核心术语、相关概念和缩略词。核心术语定义AI Agent智能代理以大语言模型LLM为核心决策引擎能感知环境比如用户输入、网络数据、本地文件等、做出决策比如调用某个工具、生成某个回答、询问用户更多信息等、并执行动作比如调用API、读写文件、发送邮件等的智能系统。简单来说AI Agent就是一个“能自己思考、自己做事的AI助手”。Harness Engineering驾驭工程学一套专门针对AI Agent的工程化方法论和工具链目的是解决AI Agent从Demo到生产过程中遇到的可观测性、可扩展性、可靠性、安全性、执行成本控制等核心问题让AI Agent像传统软件一样稳定、可靠、可控地运行。简单来说Harness Engineering就是“一套教你如何把玩具车改造成真赛车的方法和工具”。Prompt Engineering提示工程通过设计、优化和测试提示词Prompt来提高LLM输出质量的过程。简单来说提示工程就是“教AI如何正确理解你的问题并给出你想要的答案”。Prompt Engineering Automation提示工程自动化利用算法和工具自动设计、优化、测试和部署提示词的过程不需要人工手动调整每一个提示词。简单来说提示工程自动化就是“让另一个AI来帮你教AI如何正确理解问题”。Agent ObservabilityAI Agent可观测性能够实时监控AI Agent的每一步操作比如调用了哪个LLM、使用了哪个提示词、调用了哪个工具、生成了什么中间输出、最终输出是什么、响应时间是多少、执行成本是多少等并在出问题时能快速定位和修复的能力。简单来说可观测性就是“给AI Agent装一个‘黑匣子’和‘仪表盘’你能随时看到它在做什么、做得好不好出了问题能快速找到原因”。Agent ScalabilityAI Agent可扩展性能够根据业务需求的变化比如用户数量突然增加、任务量突然变大快速调整AI Agent系统的资源比如增加LLM推理服务器的数量、增加工具调用的并发数等保证AI Agent的性能比如响应时间、错误率等不受影响的能力。简单来说可扩展性就是“给AI Agent装一个‘涡轮增压发动机’和‘可调节座椅’乘客多了用户多了能快速增加座位爬坡的时候任务量大的时候能快速开启涡轮增压”。Agent ReliabilityAI Agent可靠性AI Agent能够在长时间内稳定、可靠地运行不会因为模型调用超时、工具调用失败、网络异常等问题而崩溃并且能够自动从这些异常中恢复的能力。简单来说可靠性就是“给AI Agent装一个‘备用轮胎’、‘备用油箱’和‘自动故障修复系统’爆胎了能自动换备用轮胎没油了能自动切换到备用油箱发动机出了小问题能自动修复”。Agent SecurityAI Agent安全性AI Agent能够保护敏感业务数据不被泄露不会被恶意用户利用比如生成有害内容、调用敏感API等并且能够遵守相关法律法规比如GDPR、隐私政策等的能力。简单来说安全性就是“给AI Agent装一个‘防盗门’、‘密码锁’、‘监控摄像头’和‘防火墙’陌生人进不来敏感信息传不出去有害操作会被禁止”。Execution Cost Control执行成本控制能够实时监控AI Agent的执行成本比如LLM调用费用、API调用费用等并通过算法和策略比如限制工具调用的次数、选择更便宜的LLM模型、缓存常用的输出等来降低执行成本的能力。简单来说执行成本控制就是“给AI Agent装一个‘油耗表’和‘节油模式’你能随时看到它烧了多少油还能开启节油模式来降低油耗”。Human-in-the-Loop人机协作机制AI Agent在执行任务的过程中遇到不确定的情况比如无法判断某个信息是否正确、无法完成某个复杂的任务等能够主动询问人类用户或专家获取更多的信息或指导然后继续执行任务的能力。简单来说人机协作机制就是“给AI Agent装一个‘对讲机’遇到不确定的情况能随时问人类”。Agent VersioningAI Agent版本控制能够像管理传统软件代码一样管理AI Agent的所有组件比如提示词、工具、LLM模型、配置等的版本能够随时回滚到之前的版本并且能够比较不同版本之间的差异的能力。简单来说版本控制就是“给AI Agent的所有零件拍‘快照’你能随时回到之前的某个状态还能比较两个状态之间的差异”。Agent A/B TestingAI Agent A/B测试能够同时运行两个或多个不同版本的AI Agent比如使用不同的提示词、不同的LLM模型、不同的工具等收集用户的反馈和性能数据然后比较不同版本之间的优劣选择最优的版本部署到生产环境的能力。简单来说A/B测试就是“让两辆不同的赛车在同一条赛道上跑看看哪辆更快、更稳、更省油”。相关概念解释大语言模型LLM一种基于Transformer架构的深度学习模型通过在海量的文本数据上进行预训练能够理解和生成人类语言。常见的LLM包括OpenAI的GPT-4、GPT-3.5 TurboAnthropic的Claude 3 Opus、Claude 3 SonnetGoogle的Gemini ProMeta的Llama 3以及国内的文心一言、通义千问、智谱清言等。LangChain一个开源的AI Agent开发框架提供了一系列的工具和组件比如LLM封装、提示词模板、工具调用链、内存管理等帮助开发者快速构建AI Agent。AutoGPT一个开源的“自主AI Agent”能够根据用户的一个目标比如“帮我开一家奶茶店”自动分解任务、联网查资料、调用工具最终完成目标。MLops机器学习运维一套专门针对机器学习模型的工程化方法论和工具链目的是解决机器学习模型从训练到部署过程中遇到的可重复性、可扩展性、可观测性等核心问题。DevOps开发运维一体化一套传统软件工程的方法论和工具链目的是打破开发团队和运维团队之间的壁垒实现软件的快速、可靠、自动化部署。缩略词列表缩略词全称中文解释AIArtificial Intelligence人工智能LLMLarge Language Model大语言模型Harness——驾驭本文特指“驾驭AI Agent”Prompt——提示词PEPrompt Engineering提示工程PEAPrompt Engineering Automation提示工程自动化Observability——可观测性Scalability——可扩展性Reliability——可靠性Security——安全性Cost Control——成本控制HitLHuman-in-the-Loop人机协作机制Versioning——版本控制A/B Testing——A/B测试MLopsMachine Learning Operations机器学习运维DevOpsDevelopment Operations开发运维一体化APIApplication Programming Interface应用程序编程接口JSONJavaScript Object NotationJavaScript对象表示法一种常用的数据交换格式RESTRepresentational State Transfer表现层状态转换一种常用的API设计风格RAGRetrieval-Augmented Generation检索增强生成一种常用的LLM应用技术通过检索外部知识库来增强LLM的输出质量核心概念与联系故事引入在正式讲解Harness Engineering的核心概念之前我们先来讲一个有趣的故事——“小明的玩具车比赛”。小明是一个小学三年级的学生他非常喜欢玩玩具车。有一天学校要举办一场“玩具车比赛”比赛规则很简单每个选手自己改装一辆玩具车。比赛分为三个阶段初赛在学校的塑胶跑道上跑一圈看谁的玩具车跑得最快。复赛在学校的沙地上跑一圈看谁的玩具车跑得最稳不会翻车。决赛在学校的操场上绕一个大圈跑十圈看谁的玩具车跑得最快、最稳、最省油用电池最少。小明一开始非常兴奋他从家里找来了一辆最贵的遥控玩具车——这辆玩具车有炫酷的灯光、强劲的马达在客厅的地板上跑得飞快。小明想“这辆玩具车肯定能拿冠军”于是小明带着这辆玩具车去参加初赛了。初赛的塑胶跑道非常平整小明的玩具车果然跑得飞快轻轻松松就拿了初赛的第一名。小明非常开心他想“复赛和决赛肯定也没问题”但是到了复赛的时候问题来了——复赛的沙地非常不平还有很多小石子。小明的玩具车刚跑了一半就因为轮子太小、抓地力不够“哐当”一声翻倒了。更糟糕的是翻倒的时候玩具车的电池盖还摔开了电池掉了出来滚到了沙地里。小明费了好大的劲才找到电池但是电池已经进了沙子无法再用了。小明只能眼睁睁地看着其他选手的玩具车跑完了全程自己却无缘决赛。小明非常伤心他回到家里问爸爸“为什么我的玩具车在客厅里跑得那么快在沙地里却不行呢”爸爸笑了笑说“因为你的玩具车只是一辆‘室内玩具车’它的零件都是为室内的平整地板设计的——轮子太小、抓地力不够没有备用电池没有防震装置也没有防摔的外壳。如果你想拿决赛的冠军你需要把它改造成一辆‘全地形玩具赛车’——换上大轮子、加上防滑链、装上备用电池、加上防震装置、装上防摔的外壳还要装一个‘仪表盘’随时能看到电池的电量、车速、行驶的距离等信息。”小明听了爸爸的话眼前一亮。他和爸爸一起花了整整一个周末的时间把原来的室内玩具车改造成了一辆全地形玩具赛车换上了大轮子和防滑链这样在沙地上也能有足够的抓地力不会翻车。装上了备用电池和自动切换装置电池电量不足的时候能自动切换到备用电池。加上了防震装置和防摔的外壳即使在不平的路上跑或者不小心摔了也不会坏。装了一个简单的仪表盘用一个小屏幕显示电池的电量、车速、行驶的距离等信息。装了一个限速器和节油模式在不需要太快的时候能开启节油模式节省电池的电量。改造完成后小明带着这辆全地形玩具赛车去参加了学校的第二次比赛因为第一次比赛小明没有进入决赛学校给了他一次补考的机会。这一次小明的玩具车表现得非常出色补考初赛在塑胶跑道上跑得飞快虽然比原来的室内玩具车稍微慢了一点点但还是拿了第一名。复赛在沙地上跑得非常稳没有翻车也没有掉电池轻轻松松就拿了第一名。决赛在操场上绕大圈跑十圈小明的玩具车开启了节油模式虽然车速不是最快的但跑得非常稳而且电池的电量还有剩余。最后小明综合成绩排名第一拿到了冠军拿到冠军后小明非常开心他问爸爸“爸爸你太厉害了你是怎么想到把室内玩具车改造成全地形玩具赛车的”爸爸笑了笑说“这其实就是一种‘驾驭工程学’——当你有一个简单的原型室内玩具车想要把它放到更复杂的环境学校的沙地、操场里使用并且要求它稳定、可靠、可控地运行你就需要用一套系统的方法和工具给它加上各种‘保护装置’和‘监控装置’让它能适应各种环境。”小明听了爸爸的话似懂非懂地点了点头。但是这个故事却告诉了我们一个非常重要的道理——AI Agent的落地就像把室内玩具车改造成全地形玩具赛车一样我们一开始做的AI Agent Demo就像小明的室内玩具车——在理想的环境比如测试用例、简单的用户输入里表现得非常好但一旦放到真实的业务场景比如复杂的用户输入、不稳定的网络、敏感的业务数据里就会遇到无数的“坑”。而Harness Engineering就像爸爸教小明的“改造全地形玩具赛车的方法和工具”——它能帮我们给AI Agent Demo加上各种“保护装置”和“监控装置”让它能适应真实的业务场景稳定、可靠、可控地运行。核心概念解释像给小学生讲故事一样在上面的故事里我们提到了“改造全地形玩具赛车的方法和工具”这些方法和工具其实就对应着Harness Engineering的9大核心概念。接下来我们就用“给小学生讲改造全地形玩具赛车的零件”的方式来逐一讲解这些核心概念。核心概念一Agent ObservabilityAI Agent可观测性对应故事里的零件仪表盘、黑匣子用生活中的例子解释就像全地形玩具赛车上的仪表盘和黑匣子一样——仪表盘能让你随时看到玩具车的车速、电池电量、行驶的距离、轮胎的温度等信息你能知道玩具车现在的状态好不好。黑匣子能记录玩具车的每一步操作比如什么时候加速、什么时候减速、什么时候刹车、什么时候翻车等如果玩具车出了问题你能打开黑匣子快速找到原因。AI Agent的可观测性也是一样的——它能让你随时看到AI Agent的状态比如正在做什么、有没有遇到问题、性能指标比如响应时间、错误率、执行成本并记录AI Agent的每一步操作比如调用了哪个LLM、使用了哪个提示词、调用了哪个工具、生成了什么中间输出、最终输出是什么、什么时候调用的、什么时候返回的等。如果AI Agent出了问题比如回答错误率突然飙升、响应时间突然变长、执行成本突然变高你能快速定位和修复。核心概念二Agent ScalabilityAI Agent可扩展性对应故事里的零件涡轮增压发动机、可调节座椅用生活中的例子解释就像全地形玩具赛车上的涡轮增压发动机和可调节座椅一样——如果只有你一个人坐玩具车你可以把座椅调小一点节省空间如果有你的好朋友一起坐你可以把座椅调大一点或者增加一个座位。如果是在平地上跑你可以不用开启涡轮增压发动机节省电池电量如果是在爬坡或者需要超车的时候你可以开启涡轮增压发动机让玩具车跑得更快。AI Agent的可扩展性也是一样的——它能让你根据业务需求的变化快速调整AI Agent系统的资源垂直扩展Scale Up如果AI Agent的响应时间变慢你可以给AI Agent系统的服务器增加更多的CPU、内存或GPU让它跑得更快。水平扩展Scale Out如果用户数量突然增加你可以增加更多的AI Agent服务器节点让多个AI Agent同时工作处理更多的用户请求。弹性扩展Auto Scaling你可以设置一个规则——比如当AI Agent的平均响应时间超过1秒或者当同时在线的用户数量超过1000人时自动增加AI Agent服务器节点当平均响应时间低于0.5秒或者当同时在线的用户数量低于500人时自动减少AI Agent服务器节点。这样既能保证AI Agent的性能又能节省成本。核心概念三Agent ReliabilityAI Agent可靠性对应故事里的零件备用轮胎、备用电池、自动故障修复系统用生活中的例子解释就像全地形玩具赛车上的备用轮胎、备用电池和自动故障修复系统一样——如果玩具车的轮胎爆了备用轮胎能自动换上让玩具车继续跑。如果玩具车的主电池电量不足了备用电池能自动切换过来让玩具车继续跑。如果玩具车的马达出了小问题比如转速变慢自动故障修复系统能自动调整马达的参数让它恢复正常。AI Agent的可靠性也是一样的——它能让AI Agent在长时间内稳定、可靠地运行不会因为各种异常而崩溃并且能够自动从这些异常中恢复超时重试机制如果LLM调用超时了或者工具调用失败了AI Agent能自动重试几次比如重试3次每次重试之间可以等待一段时间比如等待1秒、2秒、4秒采用“指数退避”策略。如果重试了几次还是失败AI Agent能返回一个友好的错误提示给用户而不是直接崩溃。故障转移机制如果某个LLM推理服务器宕机了AI Agent能自动切换到另一个备用的LLM推理服务器上如果某个工具调用API宕机了AI Agent能自动切换到另一个备用的工具调用API上。异常处理机制AI Agent能提前预料到各种可能出现的异常比如用户输入了敏感信息、LLM生成了有害内容、工具调用返回了错误的数据等并针对这些异常做出相应的处理比如过滤敏感信息、拒绝生成有害内容、重新调用工具或者询问用户等。核心概念四Agent SecurityAI Agent安全性对应故事里的零件防盗门、密码锁、监控摄像头、防火墙用生活中的例子解释就像全地形玩具赛车上的防盗门、密码锁、监控摄像头和防火墙一样——防盗门和密码锁能防止陌生人进入玩具车如果是一辆真的赛车的话。监控摄像头能记录玩具车周围的情况如果有陌生人试图破坏玩具车你能快速发现。防火墙能防止玩具车的电子系统被黑客攻击如果是一辆真的智能赛车的话。AI Agent的安全性也是一样的——它能让AI Agent保护敏感业务数据不被泄露不会被恶意用户利用并且能够遵守相关法律法规输入过滤AI Agent能在接收到用户输入之前先过滤掉敏感信息比如用户的身份证号、银行卡号、密码等或者询问用户是否要继续处理这些敏感信息。输出过滤AI Agent能在生成最终输出之前先过滤掉有害内容比如暴力、色情、仇恨言论、虚假信息等或者拒绝生成这些有害内容。数据脱敏如果AI Agent需要把敏感业务数据发送给LLM服务商它能先对这些数据进行脱敏处理比如把身份证号的中间8位换成星号把银行卡号的中间12位换成星号等防止敏感数据被泄露。访问控制AI Agent能设置访问权限——比如只有特定的用户才能使用特定的工具比如只有财务人员才能使用查询财务数据的工具只有管理人员才能使用修改业务规则的工具等。审计日志AI Agent能记录所有的操作比如谁在什么时候使用了AI Agent、输入了什么、输出了什么、调用了哪个工具、发送了什么数据给LLM服务商等如果出现了安全问题你能通过审计日志快速找到责任人。核心概念五Prompt Engineering Automation提示工程自动化对应故事里的零件自动导航系统、自动调节车速的系统用生活中的例子解释就像全地形玩具赛车上的自动导航系统和自动调节车速的系统一样——自动导航系统能根据你输入的目的地自动规划最优的路线不需要你手动查看地图。自动调节车速的系统能根据路况比如平路、上坡、下坡、弯道等自动调节车速不需要你手动踩油门或刹车。AI Agent的提示工程自动化也是一样的——它能让你不需要手动调整每一个提示词而是利用算法和工具自动设计、优化、测试和部署提示词提示词生成你只需要输入你的需求比如“我需要一个能帮用户解答Python编程问题的AI助手”提示工程自动化工具就能自动生成一批候选的提示词。提示词优化提示工程自动化工具能根据测试数据比如用户的历史输入和对应的正确输出自动优化提示词提高LLM的输出质量。提示词测试提示工程自动化工具能自动用一批测试数据测试不同版本的提示词收集LLM的输出质量数据比如准确率、相关性、有用性等并比较不同版本之间的优劣。提示词部署提示工程自动化工具能把最优版本的提示词自动部署到AI Agent系统中不需要你手动修改代码。核心概念六Execution Cost Control执行成本控制对应故事里的零件油耗表、节油模式、油箱容量限制器用生活中的例子解释就像全地形玩具赛车上的油耗表、节油模式和油箱容量限制器一样——油耗表能让你随时看到玩具车烧了多少电池电量你能知道这次比赛大概要花多少钱。节油模式能让玩具车在不需要太快的时候自动降低马达的转速节省电池电量。油箱容量限制器能防止玩具车一次性用太多的电池电量比如你可以设置每次比赛最多用2节电池避免浪费。AI Agent的执行成本控制也是一样的——它能让你随时看到AI Agent的执行成本并通过算法和策略降低执行成本成本监控AI Agent能实时监控每一次LLM调用、每一次工具调用的费用并统计每天、每周、每月的总执行成本生成成本报表。模型选择策略AI Agent能根据任务的难度自动选择合适的LLM模型——比如对于简单的任务比如打招呼、查天气可以选择便宜的模型比如GPT-3.5 Turbo、Claude 3 Haiku对于复杂的任务比如写代码、分析数据可以选择昂贵的模型比如GPT-4、Claude 3 Opus。工具调用限制AI Agent能设置工具调用的次数限制——比如每次对话最多调用5次工具防止AI Agent无限调用工具烧钱。缓存策略AI Agent能缓存常用的输出——比如如果用户问了一个之前已经问过的问题或者一个非常相似的问题AI Agent可以直接从缓存里返回之前的输出不需要再调用LLM节省成本。核心概念七Human-in-the-Loop人机协作机制对应故事里的零件对讲机用生活中的例子解释就像全地形玩具赛车上的对讲机一样——如果玩具车遇到了不确定的情况比如前面有两条路不知道哪条是通往目的地的或者前面有一个大坑不知道能不能开过去玩具车能通过对讲机问你获取更多的信息或指导然后继续执行任务。AI Agent的人机协作机制也是一样的——如果AI Agent遇到了不确定的情况它能主动询问人类用户或专家获取更多的信息或指导然后继续执行任务不确定性判断AI Agent能先判断自己对当前任务的不确定性——比如如果LLM生成的输出的置信度低于某个阈值比如80%或者如果AI Agent无法完成某个复杂的任务比如需要用户提供更多的信息、需要专家的指导等AI Agent就会触发人机协作机制。主动询问用户AI Agent能生成一个友好的问题主动询问用户——比如“我不太确定这个问题的答案你能提供更多的信息吗”或者“我需要你确认一下这个信息是否正确然后我才能继续执行任务。”专家审核机制对于一些非常重要的任务比如修改业务规则、处理大额资金等AI Agent能先把自己的处理结果发送给专家审核专家审核通过后AI Agent才能继续执行任务如果专家审核不通过AI Agent能根据专家的反馈修改自己的处理结果或者询问专家更多的信息。核心概念八Agent VersioningAI Agent版本控制对应故事里的零件零件快照机用生活中的例子解释就像全地形玩具赛车上的零件快照机一样——每次你改装玩具车的零件比如换上新的轮子、装上备用电池、修改仪表盘的设置等零件快照机能给玩具车的所有零件拍一张“快照”记录下当前的状态。如果你后来发现新的零件不好用比如新的轮子太大在平地上跑得太慢你能随时回到之前的某个快照状态换上原来的零件。AI Agent的版本控制也是一样的——它能像管理传统软件代码一样管理AI Agent的所有组件的版本组件版本控制AI Agent的所有组件比如提示词、工具、LLM模型、配置、代码等都能被单独版本控制——比如你可以给提示词创建一个v1.0版本然后修改提示词创建v1.1版本、v1.2版本等你也可以给工具创建一个v2.0版本然后修改工具创建v2.1版本、v2.2版本等。整体版本控制你可以把AI Agent的所有组件的某个特定版本组合在一起创建一个AI Agent的整体版本——比如AI Agent v1.0版本包含提示词v1.0、工具v2.0、LLM模型GPT-3.5 Turbo、配置v1.0AI Agent v1.1版本包含提示词v1.1、工具v2.0、LLM模型GPT-3.5 Turbo、配置v1.0等。版本回滚如果你后来发现AI Agent的某个整体版本不好用比如v1.1版本的回答错误率突然飙升你能随时回滚到之前的某个整体版本比如v1.0版本。版本比较你能比较AI Agent的两个不同版本之间的差异——比如比较提示词v1.0和v1.1之间的差异比较工具v2.0和v2.1之间的差异比较配置v1.0和v1.1之间的差异等。核心概念九Agent A/B TestingAI Agent A/B测试对应故事里的零件双赛道测试场用生活中的例子解释就像双赛道测试场一样——你可以把两辆不同版本的玩具车比如一辆用原来的轮子一辆用新的大轮子同时放在两条完全相同的赛道上跑收集它们的性能数据比如车速、电池电量消耗、稳定性等然后比较哪辆玩具车更好选择更好的那辆去参加比赛。AI Agent的A/B测试也是一样的——你可以同时运行两个或多个不同版本的AI Agent收集用户的反馈和性能数据然后比较不同版本之间的优劣选择最优的版本部署到生产环境版本分组你可以把用户随机分成几个组——比如A组使用AI Agent v1.0版本B组使用AI Agent v1.1版本C组使用AI Agent v1.2版本等。每个组的用户数量应该大致相同并且用户的特征比如年龄、性别、使用习惯等应该大致相同这样测试结果才会有意义。数据收集你需要收集每个组的用户的反馈和性能数据——比如性能数据包括响应时间、错误率、执行成本、工具调用次数等用户反馈数据包括用户的评分比如1-5星、用户的评论、用户的转化率比如用户是否完成了任务、用户是否继续使用AI Agent等。数据分析你需要对收集到的数据进行分析比较不同版本之间的优劣——比如你可以用统计学的方法比如t检验、卡方检验等来判断不同版本之间的性能差异是否显著。版本部署如果某个版本的性能明显优于其他版本比如v1.1版本的回答准确率比v1.0版本高20%执行成本比v1.0版本低15%并且用户的评分比v1.0版本高1星你就可以把这个版本部署到生产环境让所有的用户都使用这个版本。核心概念之间的关系用小学生能理解的比喻在上面的故事里我们介绍了改造全地形玩具赛车的9大核心零件这些零件不是孤立存在的——它们需要互相配合才能让全地形玩具赛车稳定、可靠、可控地运行。同样Harness Engineering的9大核心概念也不是孤立存在的——它们需要互相配合才能让AI Agent稳定、可靠、可控地运行。接下来我们就用“全地形玩具赛车的零件之间的配合”的方式来逐一讲解这些核心概念之间的关系。关系一可观测性是所有其他核心概念的基础对应故事里的配合仪表盘和黑匣子是所有其他零件的基础——如果没有仪表盘你不知道玩具车的电池电量够不够不知道要不要开启节油模式如果没有黑匣子玩具车出了问题你不知道原因不知道要不要换备用轮胎不知道要不要调整自动导航系统的设置。核心概念之间的配合可观测性是所有其他核心概念的基础——如果没有可观测性你不知道AI Agent的响应时间够不够快不知道要不要进行可扩展性调整如果没有可观测性你不知道AI Agent有没有遇到异常不知道要不要触发可靠性机制比如超时重试、故障转移等如果没有可观测性你不知道AI Agent有没有泄露敏感数据不知道要不要调整安全性设置如果没有可观测性你不知道提示词的效果好不好不知道要不要进行提示工程自动化如果没有可观测性你不知道AI Agent的执行成本够不够低不知道要不要进行执行成本控制如果没有可观测性你不知道AI Agent什么时候需要触发人机协作机制如果没有可观测性你不知道不同版本的AI Agent的性能差异不知道要不要进行版本回滚或A/B测试。简单来说可观测性就像AI Agent的“眼睛”和“耳朵”——没有它你就不知道AI Agent在做什么、做得好不好其他所有的核心概念都无法发挥作用。关系二可扩展性、可靠性、安全性是AI Agent的“三大支柱”对应故事里的配合涡轮增压发动机和可调节座椅可扩展性、备用轮胎和备用电池和自动故障修复系统可靠性、防盗门和密码锁和监控摄像头和防火墙安全性是全地形玩具赛车的“三大支柱”——如果没有可扩展性玩具车无法适应乘客数量的变化或路况的变化如果没有可靠性玩具车会经常出问题无法跑完比赛如果没有安全性玩具车会被陌生人破坏或者电子系统会被黑客攻击。这三大支柱缺一不可只有它们互相配合才能让全地形玩具赛车稳定、可靠、可控地运行。核心概念之间的配合可扩展性、可靠性、安全性是AI Agent的“三大支柱”——可扩展性和可靠性的配合当你进行可扩展性调整比如增加更多的AI Agent服务器节点时你需要同时考虑可靠性——比如你需要设置负载均衡器把用户请求均匀地分配到各个AI Agent服务器节点上你需要设置故障转移机制如果某个AI Agent服务器节点宕机了能自动把用户请求分配到其他节点上。可扩展性和安全性的配合当你进行可扩展性调整比如增加更多的AI Agent服务器节点时你需要同时考虑安全性——比如你需要给所有的AI Agent服务器节点设置相同的访问控制权限你需要给所有的AI Agent服务器节点设置相同的输入过滤和输出过滤规则你需要给所有的AI Agent服务器节点设置相同的审计日志规则。可靠性和安全性的配合当你触发可靠性机制比如超时重试时你需要同时考虑安全性——比如你需要确保重试的工具调用不会重复处理敏感业务数据比如不会重复扣款你需要确保重试的LLM调用不会重复发送敏感数据给LLM服务商。简单来说可扩展性、可靠性、安全性就像AI Agent的“三条腿”——没有其中任何一条AI Agent都无法站稳更无法稳定、可靠、可控地运行。关系三提示工程自动化是提高AI Agent性能的“核心引擎”对应故事里的配合自动导航系统和自动调节车速的系统提示工程自动化是全地形玩具赛车的“核心引擎”——如果没有它们你需要手动查看地图、手动踩油门或刹车不仅非常累而且很难保证玩具车跑得最快、最稳、最省油。有了它们玩具车就能自动规划最优的路线、自动调节车速跑得更快、更稳、更省油。核心概念之间的配合提示工程自动化是提高AI Agent性能的“核心引擎”——它能和其他所有的核心概念配合提高AI Agent的性能提示工程自动化和可观测性的配合你可以用可观测性工具收集到的LLM输出质量数据比如准确率、相关性、有用性等作为提示工程自动化工具的训练数据自动优化提示词。提示工程自动化和执行成本控制的配合你可以用提示工程自动化工具生成更简洁、更明确的提示词减少LLM的输入token数量从而降低执行成本你也可以用提示工程自动化工具让AI Agent更准确地判断是否需要调用工具减少不必要的工具调用从而降低执行成本。提示工程自动化和人机协作机制的配合你可以用提示工程自动化工具让AI Agent更准确地判断自己的不确定性只有在真正需要的时候才触发人机协作机制减少不必要的用户打扰。简单来说提示工程自动化就像AI Agent的“大脑升级器”——它能让AI Agent的“大脑”LLM变得更聪明、更高效从而提高AI Agent的整体性能。关系四执行成本控制是AI Agent可持续运行的“保障”对应故事里的配合油耗表、节油模式、油箱容量限制器执行成本控制是全地形玩具赛车可持续运行的“保障”——如果没有它们玩具车可能会一次性用太多的电池电量还没跑完比赛就没电了或者每次比赛都用太多的电池电量成本太高无法继续参加比赛。有了它们玩具车就能合理地使用电池电量跑完比赛并且成本可控。核心概念之间的配合执行成本控制是AI Agent可持续运行的“保障”——它能和其他所有的核心概念配合保证AI Agent的成本可控执行成本控制和可观测性的配合你可以用可观测性工具实时监控AI Agent的执行成本如果执行成本超过了某个阈值比如每天的执行成本超过了1000元你能收到报警及时调整策略。执行成本控制和可扩展性的配合你可以用执行成本控制工具调整弹性扩展的规则——比如当执行成本超过了某个阈值时自动减少AI Agent服务器节点的数量节省成本。执行成本控制和A/B测试的配合你可以在A/B测试中不仅比较不同版本的AI Agent的性能数据比如准确率、响应时间等还比较它们的执行成本选择性价比最高的版本部署到生产环境。简单来说执行成本控制就像AI Agent的“钱包管理员”——它能帮你合理地管理AI Agent的“钱包”执行成本保证AI Agent不会“破产”可持续运行。关系五人机协作机制是AI Agent和人类之间的“桥梁”对应故事里的配合对讲机人机协作机制是AI Agent和人类之间的“桥梁”——如果没有它玩具车遇到不确定的情况就无法继续执行任务如果有了它玩具车能随时和人类沟通获取