Chapter 04
Guidance-AI 是一个旨在帮助开发者高效创建和部署 AI 模型的框架。它专注于提供构建健壮 AI 应用的工具和最佳实践。
Guidance-AI 和 Phi 模型即服务 (MaaS)
我们将 Guidance 引入 Microsoft Foundry 中的 Phi-3.5-mini 无服务器端点，以通过定义针对应用程序量身定制的结构，使输出更加可预测。使用 Guidance，您可以消除昂贵的重试，例如，可以限制模型从预定义列表中选择（如医疗代码），限制输出仅为提供上下文中的直接引用，或遵循任何正则表达式。Guidance 在推理堆栈中逐个令牌引导模型，降低 30-50% 的成本和延迟，使其成为 Phi-3-mini 无服务器端点 的独特且有价值的补充。
Guidance-AI 是一个旨在帮助开发者高效创建和部署 AI 模型的框架。它专注于提供构建健壮 AI 应用的工具和最佳实践。
结合 Phi 模型即服务 (MaaS)，它提供了一个强大的解决方案，用于部署既经济又高效的小型语言模型（SLM）。
Guidance-AI 是一个编程框架，旨在帮助开发者更有效地控制和引导大型语言模型（LLM）。它允许精确结构化输出，减少与传统提示或微调方法相比的延迟和成本。
Guidance-AI 的关键功能：
- 高效控制：使开发者能够控制语言模型生成文本的方式，确保高质量和相关的输出。
- 降低成本与延迟：优化生成过程，使其更具成本效益且更快速。
- 灵活集成：支持多种后端，包括 Transformers、llama.cpp、AzureAI、VertexAI 和 OpenAI。
- 丰富的输出结构：支持复杂的输出结构，如条件语句、循环和工具使用，使生成的结果更清晰且易于解析。
- 兼容性强：允许单个 Guidance 程序在多个后端上运行，提升灵活性和易用性。
示例用例：
- 受限生成：使用正则表达式和上下文无关文法引导模型输出。
- 工具集成：自动交错控制与生成，例如在文本生成任务中使用计算器。
有关详细信息和示例，请参见 Guidance-AI GitHub 仓库。
Phi 模型的关键特性：
- 成本效益：设计为经济实惠，同时保持高性能。
- 低延迟：适合需要快速响应的实时应用。
- 灵活性：可部署于云端、边缘和离线等多种环境中。
- 定制化：可使用领域特定数据进行微调以提升性能。
- 安全与合规：基于微软的 AI 原则构建，确保问责制、透明性、公平性、可靠性、安全性、隐私和包容性。
Phi 模型即服务 (MaaS)：
Phi 模型通过按需付费的推理 API 提供，使您能够轻松将其集成到应用程序中，无需大量前期投入。
开始使用 Phi-3：
要开始使用 Phi 模型，您可以浏览 Azure AI 模型目录 或 GitHub 市场模型](https://github.com/marketplace/models)，这些模型已预构建且可定制。此外，您还可以使用诸如 Microsoft Foundry 这样的工具来开发和部署 AI 应用。
资源
免责声明： 本文件通过人工智能翻译服务Co-op Translator翻译而成。虽然我们力求准确，但请注意，自动翻译可能存在错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议采用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。