📊 数据与AI基础设施

数据与AI知识库

▶ 📖 总览
  • 章首页
  • 数据平台架构
  • 测试数据管理
▶ 🗄️ 数据库
  • 章节概览
  • 数据库类型对比
  • 数据库测试
▶ 🔗 数据管道
  • 章节概览
  • ETL/ELT测试
  • 流式数据处理测试
▶ 🤖 AI基础设施
  • 章节概览
  • ML平台测试
  • LLM推理基础设施测试
▶ 📊 数据质量
  • 章节概览
  • 数据质量框架
  • 数据质量测试
▶ 🔍 向量数据库
  • 章节概览
  • 向量数据库基础
  • 向量数据库测试
▶ 🚀 LLM推理服务
  • 章节概览
  • 核心指标
  • vLLM架构与压测
  • 量化与精度
  • GPU容量规划
  • 性能测试实践
← 返回博客 / 📊 数据与AI基础设施 数据与AI基础设施 / LLM推理服务 / 章节概览

🚀 LLM推理服务

LLM 推理服务(vLLM 等)的指标体系、压测方法、量化精度验证与 GPU 容量规划——面向测试团队的性能工程视角,与「性能测试体系」主题互补。

📈 核心指标

TTFT/TPOT/Goodput 指标体系、参考目标与测量陷阱

指标SLO

⚙️ vLLM 架构与压测

PagedAttention/连续批处理/TP、压测关键参数与方案模板

推理引擎压测方案

🧮 量化与精度

GPTQ/AWQ/FP8 对比、领域内精度回归设计、数字计算红线

量化精度验收

🗂️ GPU 容量规划

显存账、KV Cache 估算、176K 长上下文场景、部署形态

容量长上下文

🚦 性能测试实践

与传统压测差异、五步设计、报告模板、坑点清单

测试设计报告
📊 数据与AI基础设施知识体系 · 持续建设