Chapter 65
面向初学者的边缘人工智能(EdgeAI)
面向初学者的边缘人工智能(EdgeAI)

按照以下步骤开始使用这些资源:
- Fork 仓库:点击
- 克隆仓库:
git clone https://github.com/microsoft/edgeai-for-beginners.git - 加入 Azure AI Foundry Discord,与专家和开发者交流
🌐 多语言支持
通过 GitHub Action 支持(自动且始终保持最新)
阿拉伯语 | 孟加拉语 | 保加利亚语 | 缅甸语 | 中文(简体) | 中文(繁体,香港) | 中文(繁体,澳门) | 中文(繁体,台湾) | 克罗地亚语 | 捷克语 | 丹麦语 | 荷兰语 | 爱沙尼亚语 | 芬兰语 | 法语 | 德语 | 希腊语 | 希伯来语 | 印地语 | 匈牙利语 | 印尼语 | 意大利语 | 日语 | 卡纳达语 | 高棉语 | 韩语 | 立陶宛语 | 马来语 | 马拉雅拉姆语 | 马拉地语 | 尼泊尔语 | 尼日利亚黑话 | 挪威语 | 波斯语(法尔西语) | 波兰语 | 葡萄牙语(巴西) | 葡萄牙语(葡萄牙) | 旁遮普语(古鲁姆奇) | 罗马尼亚语 | 俄语 | 塞尔维亚语(西里尔文) | 斯洛伐克语 | 斯洛文尼亚语 | 西班牙语 | 斯瓦希里语 | 瑞典语 | 他加禄语(菲律宾语) | 泰米尔语 | 泰卢固语 | 泰语 | 土耳其语 | 乌克兰语 | 乌尔都语 | 越南语
想要本地克隆?
本仓库包含 50 多种语言翻译,显著增加下载大小。若想不下载翻译内容,可使用稀疏检出:
Bash / macOS / Linux:
bashgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'CMD (Windows):
cmdgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"这样可以更快完成课程内容下载。
如果希望支持更多翻译语言,请查看 这里
简介
欢迎来到 面向初学者的边缘人工智能(EdgeAI) —— 您通往边缘人工智能变革世界的全面旅程。本课程连接了强大 AI 能力与边缘设备上的实际部署,让您能够直接在数据产生和决策需要发生的地方,充分利用 AI 的潜力。
您将掌握的内容
本课程涵盖基础概念到生产级实现,包括:
- 针对边缘部署优化的小型语言模型(SLMs)
- 面向多平台的硬件感知优化
- 具有隐私保护能力的实时推理
- 企业级生产部署策略
为什么边缘 AI 重要
边缘 AI 是一种范式转变,解决现代关键挑战:
- 隐私与安全:本地处理敏感数据,无需云端暴露
- 实时性能:消除网络延迟,应对时间关键应用
- 成本效率:节省带宽和云计算开销
- 弹性操作:网络中断时仍保持功能
- 法规遵从:满足数据主权要求
边缘 AI
边缘 AI 指在数据生成地附近的硬件上本地运行 AI 算法与语言模型,无需依赖云资源进行推理。它降低延迟,提升隐私,支持实时决策。
核心原则:
- 设备端推理:AI 模型在边缘设备(手机、路由器、微控制器、工业PC)上运行
- 离线能力:无需持续联网也能工作
- 低延迟:即时响应,适合实时系统
- 数据主权:敏感数据保留在本地,提升安全性和合规性
小型语言模型(SLMs)
类似 Phi-4、Mistral-7B 和 Gemma 的 SLM,是大型语言模型(LLMs)的优化版本,经过训练或蒸馏,用于:
- 减少内存占用:高效利用有限的边缘设备内存
- 降低计算需求:优化 CPU 和边缘 GPU 性能
- 启动更快:快速初始化,实现响应迅速的应用
它们为以下设备和场景解锁强大自然语言处理能力,满足限制:
- 嵌入式系统:物联网设备和工业控制器
- 移动设备:支持离线能力的智能手机和平板
- 物联网设备:有限资源的传感器和智能设备
- 边缘服务器:有限 GPU 资源的本地处理单元
- 个人计算机:桌面和笔记本部署场景
课程模块与导航
| 模块 | 主题 | 关注点 | 主要内容 | 级别 | 时长 |
|---|---|---|---|---|---|
| 📖 00 | 边缘 AI 介绍 | 基础与背景 | 边缘 AI 概述 • 行业应用 • SLM 介绍 • 学习目标 | 初学者 | 1-2 小时 |
| 📚 01 | 边缘 AI 基础 | 云端与边缘 AI 对比 | 边缘 AI 基础 • 真实案例 • 实施指南 • 边缘部署 | 初学者 | 3-4 小时 |
| 🧠 02 | SLM 模型基础 | 模型家族与架构 | Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica | 初学者 | 4-5 小时 |
| 🚀 03 | SLM 部署实战 | 本地与云端部署 | 高阶学习 • 本地环境 • 云端部署 | 中级 | 4-5 小时 |
| ⚙️ 04 | 模型优化工具包 | 跨平台优化 | 介绍 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流整合 | 中级 | 5-6 小时 |
| 🔧 05 | SLMOps 生产运维 | 生产运营 | SLMOps 介绍 • 模型蒸馏 • 微调 • 生产部署 | 高级 | 5-6 小时 |
| 🤖 06 | AI 代理与功能调用 | 代理框架与 MCP | 代理介绍 • 功能调用 • 模型上下文协议 | 高级 | 4-5 小时 |
| 💻 07 | 平台实现 | 跨平台示例 | AI 工具包 • Foundry 本地 • Windows 开发 | 高级 | 3-4 小时 |
| 🏭 08 | Foundry 本地工具包 | 生产就绪示例 | 示例应用(详见下方) | 专家级 | 8-10 小时 |
🏭 模块 08:示例应用
- 01:REST 聊天快速入门
- 02:OpenAI SDK 集成
- 03:模型发现与基准测试
- 04:Chainlit RAG 应用
- 05:多代理编排
- 06:模型即工具路由器
- 07:直接 API 客户端
- 08:Windows 11 聊天应用
- 09:高级多代理系统
- 10:Foundry 工具框架
🎓 工作坊:动手学习路径
全面的动手工作坊材料,配备生产就绪实现:
- 工作坊指南 - 完整的学习目标、成果及资源导航
- Python 示例(6 课)- 采用最佳实践、错误处理和全面文档更新
- Jupyter 笔记本(8 个交互式)- 逐步教程,含基准和性能监控
- 课程指南 - 每个工作坊课时的详细 Markdown 指南
- 验证工具 - 验证代码质量和进行冒烟测试的脚本
您将构建的内容:
- 支持流式传输的本地 AI 聊天应用
- 具备质量评估的 RAG 流水线(RAGAS)
- 多模型基准测试与对比工具
- 多代理编排系统
- 基于任务选择的智能模型路由
🎙️ Agentic 工作坊:动手实践 - AI 播客工作室
从零开始构建一个由 AI 驱动的播客制作流水线!这个沉浸式研讨会将教你创建一个完整的多代理系统,将创意转化为专业的播客节目。
你的任务:启动“未来字节”——一个完全由你自己构建的 AI 代理驱动的技术播客。无云依赖,无 API 费用——所有内容均在本地电脑运行。
此课程的独特之处:
- 🤖 真正的多代理编排 - 构建专门的 AI 代理进行调研、撰写和音频制作
- 🎯 完整的生产流水线 - 从话题选择到最终播客音频输出
- 💻 100% 本地部署 - 使用 Ollama 和本地模型(Qwen-3-8B),保障隐私和完全控制
- 🎤 文本转语音集成 - 将脚本转化为自然的多角色对话
- ✋ 人工干预工作流 - 审核环节确保质量,同时保持自动化
三幕式学习旅程:
| 幕 | 重点 | 关键技能 | 时长 |
|---|---|---|---|
| 第一幕:认识你的 AI 助手 | 构建你的第一个 AI 代理 | 工具集成 • 网络搜索 • 问题解决 • 代理推理 | 2-3 小时 |
| 第二幕:组建你的制作团队 | 协调整个多代理系统 | 团队协调 • 审批工作流 • DevUI 界面 • 人工监督 | 3-4 小时 |
| 第三幕:让你的播客活起来 | 生成播客音频 | 文本转语音 • 多角色合成 • 长时音频 • 全自动 | 2-3 小时 |
所用技术:
- Microsoft Agent Framework - 多代理编排与协调
- Ollama - 本地 AI 模型运行时(无需云)
- Qwen-3-8B - 针对代理任务优化的开源语言模型
- 文本转语音 API - 用于自然声音合成的播客生成
硬件支持:
- ✅ CPU 模式 - 适用于任何现代计算机(建议 8GB 及以上内存)
- 🚀 GPU 加速 - 使用 NVIDIA/AMD GPU 显著加速推理
- ⚡ NPU 支持 - 下一代神经处理单元加速
适合人群:
- 学习多代理 AI 系统的开发者
- 对 AI 自动化和工作流感兴趣的任何人
- 探索 AI 辅助内容制作的创作者
- 学习实用 AI 编排模式的学生
开始构建:🎙️ AI 播客工作室研讨会 →
📊 学习路径总结
- 总时长:36-45 小时
- 初学者路径:模块 01-02(7-9 小时)
- 中级路径:模块 03-04(9-11 小时)
- 高级路径:模块 05-07(12-15 小时)
- 专家路径:模块 08(8-10 小时)
你将构建的内容
🎯 核心能力
- 边缘 AI 架构:设计以本地优先、云集成的 AI 系统
- 模型优化:量化和压缩模型以用于边缘部署(速度提升85%,大小减小75%)
- 多平台部署:支持 Windows、移动、嵌入式及云边混合系统
- 生产运维:边缘 AI 的监控、扩展和维护
🏗️ 实践项目
- Foundry 本地聊天应用:Windows 11 原生应用,支持模型切换
- 多代理系统:协调员与专家代理完成复杂工作流
- RAG 应用:本地文档处理与向量搜索
- 模型路由器:基于任务分析智能选择模型
- API 框架:具备流式传输和健康监控的生产级客户端
- 跨平台工具:LangChain / Semantic Kernel 集成方案
🏢 行业应用
制造业 • 医疗健康 • 自动驾驶 • 智慧城市 • 移动应用
快速开始
推荐学习路径(共计 20-30 小时):
- 📖 介绍 (Introduction.md) :EdgeAI 基础 + 行业背景 + 学习框架
- 📚 基础(模块 01-02):EdgeAI 概念 + SLM 模型家族
- ⚙️ 优化(模块 03-04):部署 + 量化框架
- 🚀 生产(模块 05-06):SLMOps + AI 代理 + 函数调用
- 💻 实现(模块 07-08):平台示例 + Foundry 本地工具包
每个模块包含理论、动手练习及生产级代码示例。
职业影响
技术岗位:边缘 AI 解决方案架构师 • ML 工程师(边缘)• 物联网 AI 开发者 • 移动 AI 开发者
行业领域:制造 4.0 • 医疗科技 • 自动驾驶系统 • 金融科技 • 消费电子
作品集项目:多代理系统 • 生产级 RAG 应用 • 跨平台部署 • 性能优化
仓库结构
edgeai-for-beginners/
├── 📖 introduction.md # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/ # Fundamentals → SLMs → Deployment → Optimization
├── 🔧 Module05-06/ # SLMOps → AI Agents → Function Calling
├── 💻 Module07/ # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/ # Foundry Local Toolkit + 10 Comprehensive Samples
│ ├── samples/01-06/ # Foundation: REST, SDK, RAG, Agents, Routing
│ └── samples/07-10/ # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/ # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md # Structured learning paths & time allocation课程亮点
✅ 渐进式学习:理论 → 实践 → 生产部署
✅ 真实案例:微软、日本航空、企业实施案例
✅ 动手示例:50+ 代码示例,10 个完整 Foundry 本地演示
✅ 性能优化:85% 提速,75% 缩减大小
✅ 多平台支持:Windows、移动、嵌入式、云边混合
✅ 生产就绪:监控、扩展、安全、合规框架
📖 学习指南可用:结构化 20 小时学习路径,含时间分配和自我评估工具。
EdgeAI 代表 AI 部署的未来:以本地为先,隐私保护,高效。掌握这些技能,打造下一代智能应用。
其它课程
我们的团队还制作了其他课程!请查看:
LangChain
Azure / Edge / MCP / Agents
生成式 AI 系列
核心学习
Copilot 系列
获取帮助
如果你遇到困难或对构建 AI 应用有任何疑问,请加入:
如果你有产品反馈或在构建过程中遇到错误,请访问:
免责声明: 本文件已使用 AI 翻译服务 Co-op Translator 进行翻译。虽然我们力求准确,但请注意,自动翻译可能包含错误或不准确之处。原文的母语版本应被视为权威来源。对于关键信息,建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或错误解释,我们概不负责。
