TGI（Text Generation Inference）
TGIHugging Face 的推理服务
亦作、亦称：Text Generation Inference
TGI（Text Generation Inference）是 Hugging Face 官方的高性能 LLM 推理服务器，支持连续批处理、张量并行、Flash Attention 与流式输出，面向生产级 API 部署开源模型。
核心特性
Continuous batching 动态合并请求；支持 Safetensors 权重与多种开源架构；内置 watermark 可选。常与 HF Inference Endpoints 或自建 K8s 服务配合。
与 vLLM/SGLang
TGI 与 Hugging Face 模型卡、tokenizer 生态无缝；vLLM 在吞吐与 PagedAttention 上常领先；SGLang 擅前缀缓存。选型取决于模型来源与 SLA。
运维
Docker 镜像官方维护；需配置 GPU 数量与张量并行度。量化版需确认 TGI 版本支持的 bitsandbytes/AWQ 格式。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「Hugging Face 的推理服务」
- 「文本生成服务器」
- 「部署 LLM 的服务端」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 初级概念高频查看详解 →
什么是 AI Agent？它与大语言模型（LLM）的本质区别是什么？
AI Agent 是以 LLM 为大脑、能感知环境并自主规划、调用工具、多步执行并按反馈迭代以达成目标的系统；LLM 只是无状态的文本输入到输出函数。
- 中级概念查看详解 →
什么是 GPTCache？它如何帮助降低 AI 应用成本？
GPTCache 是面向 LLM 的语义缓存层，把"问题→回答"缓存，新请求先做语义相似度匹配，命中即返回缓存答案，从而省 token、降延迟、扛并发。
- 中级场景查看详解 →
智能工单分类系统中，AI 可参与哪些环节？技术选型思路是什么？
AI 可参与工单的自动分类打标、意图情绪识别、智能路由、相似聚合去重、知识推荐、回复草稿与 SLA 预警等环节。选型上高频固定类别用轻量分类模型、复杂少样本用 LLM，并可混合编排，配人工复核闭环。
- 初级概念高频查看详解 →
什么是大语言模型（LLM）？它能做什么、不能做什么？
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型，擅长语言任务，但不擅长精确计算、实时信息，且会产生幻觉。
延伸阅读
从知识库精选 3 篇文章，帮助深入理解该术语。
- 1
LLM 推理加速技术全景（三）：从推测解码到块扩散
2026 年 4 月，LLM 推理加速领域迎来密集突破：DFlash 提出块扩散推测解码、DDTree 构建草稿树实现单次验证多路径、SpecGuard 引入验证感知步骤级校验、Parcae 用循环架构减半参数量。本文系统梳理 LLM 推理加速的技术栈，从算法层到架构层，帮你建立完整的知识框架。
- 2
LLM 推理优化：量化、剪枝、蒸馏与推理加速实战
系统讲解大语言模型推理优化的四大核心技术——量化（Quantization）、剪枝（Pruning）、知识蒸馏（Knowledge Distillation）和推理引擎加速，覆盖从原理到实战的完整链路
- 3
LLM 部署实践：vLLM, TGI, Ollama
从本地到云端，掌握大语言模型的部署方案与性能优化
外部参考
维基百科：查看「TGI」词条本页内容为本站原创撰写；维基百科链接仅作延伸参考。