Agent Deployment & Production Serving/ 智能体部署与生产化服务

Agent部署如同把实验室里的自动驾驶原型车开上公共道路——需要容器化打包、健康检查、灰度发布、自动扩缩容和全链路监控，确保智能体7×24小时稳定运行而不是「演示完就崩」。这是智能体从「Jupyter Notebook原型」迈向「生产级服务」的最后也是最容易被忽视的一公里。

智能体部署的核心挑战在于：LLM推理是GPU密集型、Agent逻辑是CPU密集型、工具调用是IO密集型——三种截然不同的资源需求必须协调在同一服务中。生产化落地依赖三个核心模式：

**① 容器化与依赖隔离（Containerization）**

Agent的所有依赖——Python版本、系统库（如playwright需要的Chromium）、模型权重文件、提示词模板、环境变量（API密钥）——全部打包进Docker镜像。用多阶段构建分离构建依赖和运行依赖，最终镜像控制在2GB以内。关键：API密钥绝不能写入镜像层，必须通过K8s Secret或Vault在运行时注入。

**② 健康检查与自愈机制（Health Check & Self-Healing）**

Agent服务需要暴露两个端点：`/liveness`（进程是否存活——秒级检测，失败即重启）和 `/readiness`（LLM模型是否加载完毕、外部API密钥是否可用——分钟级检测，失败即摘流）。K8s根据探针自动执行重启或流量摘除。对于自部署模型（vLLM/TGI），readiness需等待模型权重加载完成（可能30s~2min），否则Pod会被反复杀死。

**③ 灰度发布与流量管理（Canary Deploy & Traffic Shaping）**

新版Agent提示词或工具定义变更后，不能直接全量上线——一个提示词的微小改动可能导致工具调用成功率断崖式下跌。标准做法：新版本先切5%-10%流量，持续观察工具调用成功率、延迟P99、幻觉率等指标15-30分钟，确认无误再逐步扩至100%。用Istio/Envoy做流量分割，用Argo Rollouts做渐进式交付。

以下是三项可操作的部署验证测试：

• 测试一：容器化打包与冷启动时间

• 操作：用Docker打包Agent服务（含LLM推理端点），测量镜像构建时间、镜像大小、容器从启动到readiness就绪的时间

• 工具：Docker (https://docker.com) + docker-compose；用 `docker build` 计时，`docker images` 看大小，`kubectl get events` 或 `docker logs` 看启动日志

• 指标：镜像大小 ≤ 2GB（不含模型权重），冷启动时间（含模型加载）≤ 120s，纯Agent逻辑启动 ≤ 10s

• 测试二：并发压力与自动扩缩容

• 操作：用压测工具模拟100-1000并发请求，观察Agent服务的延迟变化、错误率，以及K8s HPA（Horizontal Pod Autoscaler）是否自动扩容

• 工具：Locust (https://locust.io) 或 k6 (https://k6.io) 编写Agent调用脚本；K8s metrics-server + HPA配置；Grafana + Prometheus 监控面板

• 指标：P50延迟 ≤ 3s，P99延迟 ≤ 15s，错误率 ≤ 1%；HPA在CPU/内存达阈值后60s内触发扩容

• 测试三：灰度发布安全验证

• 操作：部署新旧两个版本的Agent Pod，用Istio VirtualService将10%流量路由到新版本，持续观测15分钟。对比两个版本的工具调用成功率、输出格式合规率、平均Token消耗

• 工具：Istio (https://istio.io) 或 Argo Rollouts (https://argoproj.github.io/argo-rollouts)；配合LangSmith或自建日志系统收集Agent运行trace

• 指标：新版本工具调用成功率 ≥ 旧版本95%水平，新版本输出格式合规率 ≥ 旧版本，新版本平均Token消耗不超过旧版本120%

1. **模型冷启动超时导致Pod无限重启** — 大模型（如70B+）从磁盘加载到GPU显存需要30秒到2分钟，但K8s默认的 `initialDelaySeconds` 只有10-30秒。探针超时后K8s判定Pod不健康直接杀死，然后新Pod又开始加载模型……形成死循环。解决方案：将readiness探针的 `initialDelaySeconds` 设为模型加载时间的1.5倍（如180秒），或在Agent代码中先完成模型加载再启动HTTP服务。

1. **API密钥泄露到Docker镜像层** — 很多人习惯 `docker build --build-arg OPENAI_API_KEY=xxx` 或在Dockerfile里 `ENV` 写密钥。这些密钥会永久残留在镜像的中间层中，任何人拿到镜像都可以 `docker history` 提取。正确做法：运行时通过K8s Secret、HashiCorp Vault或环境变量注入，绝不在构建阶段触碰密钥。

1. **无状态设计的Agent在灰度发布中丢失进行中任务** — Agent通常是长连接（SSE/WebSocket流式响应），灰度发布切流量时，正在执行中的Agent任务会被粗暴中断。用户看到「Agent思考到一半突然消失」。解决方案：实现优雅关闭（SIGTERM后等待进行中任务完成，最长等待60s），或用K8s的 `terminationGracePeriodSeconds` 给Agent足够的「收尾」时间。

• OpenAI Production Best Practices (速率限制、错误处理、API key轮换): https://platform.openai.com/docs/guides/production-best-practices

• LangServe — LangChain Agent 一键部署为 REST API: https://www.langchain.com/langserve

• Anthropic 生产部署指南 (速率限制、提示词版本管理): https://docs.anthropic.com/en/api/rate-limits

• K8s HPA 自动扩缩容实战: https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/

• Argo Rollouts 渐进式交付 (金丝雀/蓝绿发布): https://argoproj.github.io/argo-rollouts/

• Grafana + Prometheus 监控 Agent 服务: https://grafana.com/docs/grafana/latest/getting-started/