Chapter 67
EdgeAI 入門
EdgeAI 入門

請依照以下步驟開始使用這些資源:
- Fork 倉庫: 點擊
- Clone 倉庫:
git clone https://github.com/microsoft/edgeai-for-beginners.git - 加入 Azure AI Foundry Discord,與專家及其他開發者交流
🌐 多語言支援
透過 GitHub Action 支援(自動與持續更新)
阿拉伯語 | 孟加拉語 | 保加利亞語 | 緬甸語 | 簡體中文 | 繁體中文(香港) | 繁體中文(澳門) | 繁體中文(台灣) | 克羅地亞語 | 捷克語 | 丹麥語 | 荷蘭語 | 愛沙尼亞語 | 芬蘭語 | 法語 | 德語 | 希臘語 | 希伯來語 | 印地語 | 匈牙利語 | 印尼語 | 意大利語 | 日語 | 坎納達語 | 高棉語 | 韓語 | 立陶宛語 | 馬來語 | 馬拉雅拉姆語 | 馬拉地語 | 尼泊爾語 | 尼日利亞洋腔 | 挪威語 | 波斯語(法爾西語) | 波蘭語 | 葡萄牙語(巴西) | 葡萄牙語(葡萄牙) | 旁遮普語(古爾穆喀) | 羅馬尼亞語 | 俄語 | 塞爾維亞語(西里爾字母) | 斯洛伐克語 | 斯洛文尼亞語 | 西班牙語 | 斯瓦希里語 | 瑞典語 | 塔加洛語(菲律賓語) | 泰米爾語 | 泰盧固語 | 泰語 | 土耳其語 | 烏克蘭語 | 烏爾都語 | 越南語
偏好本地 Clone?
本倉庫包含 50+ 種語言翻譯,會大幅增加下載大小。若想不含翻譯檔案複製,請使用稀疏檢出:
Bash / macOS / Linux:
bashgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'CMD (Windows):
cmdgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"這樣可以更快下載,並且取得完成課程所需的所有內容。
如欲支持更多翻譯語言,請參考 這裡
介紹
歡迎來到 EdgeAI 入門 — 您通往革新邊緣人工智能世界的全面旅程。本課程銜接了強大 AI 能力與在邊緣裝置的實務部署,賦能您直接在數據生成及需要做決策的地方使用 AI 潛力。
你將掌握什麼
本課程帶您從基礎概念到生產級實踐,涵蓋:
- 小型語言模型(SLMs),為邊緣部署優化
- 硬件感知優化,跨多樣平台
- 即時推理,兼具隱私保護能力
- 企業級生產部署 策略
為何 EdgeAI 重要
邊緣 AI 代表現代的典範轉移,解決關鍵挑戰:
- 隱私與安全:本地處理敏感數據,不需雲端傳輸
- 即時效能:消除網絡延遲,適合時間關鍵應用
- 成本效益:減少頻寬及雲端運算花費
- 韌性運作:斷網時仍維持功能
- 法規遵循:符合數據主權要求
邊緣 AI
邊緣 AI 指在硬件本地,接近數據產生地運行 AI 演算法和語言模型,不依賴雲端資源推理。它降低延遲、提升隱私並促成即時決策。
核心原則:
- 裝置端推理:AI 模型在邊緣設備(手機、路由器、微控制器、工業 PC)執行
- 離線功能:無需持續網絡連線
- 低延遲:即時回應,適用即時系統
- 數據主權:敏感資料保留本地,提高安全與合規
小型語言模型(SLMs)
SLMs 如 Phi-4、Mistral-7B 和 Gemma,是大型 LLM 的優化版本—透過訓練或蒸餾達成:
- 降低記憶體需求:有效使用有限的邊緣設備記憶體
- 較低運算需求:優化 CPU 與邊緣 GPU 效能
- 更快啟動時間:快速初始化,提升應用響應
它們在以下約束中解鎖強大 NLP 功能:
- 嵌入式系統:物聯網設備及工業控制器
- 行動裝置:具備離線功能的智能手機和平板
- 物聯網設備:資源有限的感測器及智慧設備
- 邊緣伺服器:有限 GPU 資源的本地處理單元
- 個人電腦:桌機及筆電部署場景
課程模組與導航
| 模組 | 主題 | 主要領域 | 核心內容 | 等級 | 時長 |
|---|---|---|---|---|---|
| 📖 00 | EdgeAI 簡介 | 基礎與背景 | EdgeAI 概述 • 業界應用 • SLM 簡介 • 學習目標 | 初學者 | 1-2 小時 |
| 📚 01 | EdgeAI 基礎 | 雲端 vs 邊緣 AI 比較 | EdgeAI 基礎 • 真實案例 • 實作指南 • 邊緣部署 | 初學者 | 3-4 小時 |
| 🧠 02 | SLM 模型基礎 | 模型家族與架構 | Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica | 初學者 | 4-5 小時 |
| 🚀 03 | SLM 部署實務 | 本地與雲端部署 | 進階學習 • 本地環境 • 雲端部署 | 中級 | 4-5 小時 |
| ⚙️ 04 | 模型優化工具包 | 跨平台優化 | 介紹 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程整合 | 中級 | 5-6 小時 |
| 🔧 05 | SLMOps 生產 | 生產運營 | SLMOps 介紹 • 模型蒸餾 • 微調 • 生產部署 | 高階 | 5-6 小時 |
| 🤖 06 | AI 代理與函式呼叫 | 代理框架與 MCP | 代理介紹 • 函式呼叫 • 模型上下文協議 | 高階 | 4-5 小時 |
| 💻 07 | 平台實作 | 跨平台範例 | AI 工具包 • Foundry Local • Windows 開發 | 高階 | 3-4 小時 |
| 🏭 08 | Foundry Local 工具包 | 生產級範例 | 範例應用(詳見下方) | 專家 | 8-10 小時 |
🏭 模組 08:範例應用
- 01:REST Chat 快速開始
- 02:OpenAI SDK 整合
- 03:模型發現與基準測試
- 04:Chainlit RAG 應用
- 05:多代理協同編排
- 06:Models-as-Tools 路由器
- 07:直接 API 用戶端
- 08:Windows 11 聊天應用
- 09:進階多代理系統
- 10:Foundry 工具框架
🎓 工作坊:實戰學習路徑
完整實作工作坊材料,含生產級實作:
- 工作坊指南 — 完整學習目標、成果與資源導航
- Python 範例 (6 堂課)— 更新最佳實踐、錯誤處理與詳盡說明
- Jupyter 筆記本 (8 個互動課程)— 逐步教學,含基準與效能監控
- 課程指引 — 每堂工作坊的詳細 markdown 指引
- 驗證工具 — 腳本驗證程式品質並執行冒煙測試
你將打造:
- 支援串流的本地 AI 聊天應用
- 具品質評估的 RAG 管線(RAGAS)
- 多模型基準與比較工具
- 多代理協同系統
- 具任務選擇的智慧模型路由
🎙️ Agentic 實戰工作坊:AI Podcast 工作室
從零開始建立一個由人工智能驅動的播客製作管道!這個沉浸式工作坊將教你如何打造一個完整的多代理系統,將構思轉化為專業的播客節目。
你的任務:啟動“Future Bytes”──一個完全由你親手建立的 AI 代理驅動的科技播客。無需雲端依賴,無 API 費用──所有運行均在本地機器上完成。
這個工作坊的獨特之處:
- 🤖 真正的多代理協調 - 建立專門的 AI 代理進行研究、撰寫與音頻製作
- 🎯 完整製作管道 - 從主題選擇到最終播客音頻輸出
- 💻 100% 本地部署 - 使用 Ollama 與本地模型(Qwen-3-8B)實現完全私隱與控制
- 🎤 文字轉語音整合 - 將腳本轉變為自然的多說者對話
- ✋ 人工審核流程 - 確保品質的同時保持自動化高效
三幕學習旅程:
| 幕別 | 焦點 | 核心技能 | 時長 |
|---|---|---|---|
| 第一幕:認識你的 AI 助手 | 建立你的第一個 AI 代理 | 工具整合 • 網絡搜尋 • 問題解決 • 代理推理 | 2-3 小時 |
| 第二幕:組建你的製作團隊 | 多代理協同作業 | 團隊協調 • 審核流程 • DevUI 介面 • 人工監督 | 3-4 小時 |
| 第三幕:讓你的播客活起來 | 產出播客音頻 | 文字轉語音 • 多說者合成 • 長音頻 • 全自動化 | 2-3 小時 |
使用技術:
- Microsoft Agent Framework - 多代理協調與管理
- Ollama - 本地 AI 模型運行環境(無需雲端)
- Qwen-3-8B - 專為代理任務優化的開源語言模型
- 文字轉語音 API - 播客自然語音合成
硬體支援:
- ✅ CPU 模式 - 適用任何現代電腦(建議 8GB 以上記憶體)
- 🚀 GPU 加速 - NVIDIA/AMD GPU 顯著提升推理速度
- ⚡ NPU 支援 - 下一代神經網絡處理器加速
適合對象:
- 學習多代理 AI 系統的開發者
- 有興趣 AI 自動化與工作流程的人士
- 探索 AI 輔助製作的內容創作者
- 研究實際 AI 協同運作模式的學生
開始構建:🎙️ AI 播客工作室工作坊 →
📊 學習路徑摘要
- 總時長:36-45 小時
- 初級路徑:模組 01-02(7-9 小時)
- 中級路徑:模組 03-04(9-11 小時)
- 高級路徑:模組 05-07(12-15 小時)
- 專家路徑:模組 08(8-10 小時)
你將會建立
🎯 核心能力
- 邊緣 AI 架構:設計以本地為主、結合雲端的 AI 系統
- 模型優化:量化與壓縮模型以利邊緣部署(提升 85% 速度,減少 75% 體積)
- 多平台部署:Windows、行動裝置、嵌入式及雲邊混合系統
- 生產運維:監控、擴展與維護邊緣 AI 生產環境
🏗️ 實戰專案
- Foundry 本地聊天應用:Windows 11 原生應用支援模型切換
- 多代理系統:擁有專家代理的協調員實現複雜工作流
- RAG 應用:本地文件處理與向量搜尋
- 模型路由器:基於任務分析智能選擇模型
- API 框架:生產級客戶端支援串流與健康監控
- 跨平台工具:LangChain/Semantic Kernel 集成範式
🏢 行業應用
製造業 • 醫療保健 • 自動駕駛系統 • 智慧城市 • 行動應用
快速開始
推薦學習路徑(共 20-30 小時):
- 📖 介紹 (Introduction.md) :邊緣 AI 基礎 + 行業背景 + 學習架構
- 📚 基礎(模組 01-02):邊緣 AI 概念 + SLM 模型族
- ⚙️ 優化(模組 03-04):部署 + 量化框架
- 🚀 生產(模組 05-06):SLMOps + AI 代理 + 函數調用
- 💻 實作(模組 07-08):平台範例 + Foundry 本地工具包
每個模組包含理論、實作練習及生產級程式碼範例。
職涯影響
技術職位:邊緣 AI 解決方案架構師 • ML 工程師(邊緣端)• 物聯網 AI 開發 • 行動 AI 開發
產業領域:製造業 4.0 • 醫療科技 • 自動系統 • 金融科技 • 消費電子
作品集專案:多代理系統 • 生產 RAG 應用 • 跨平台部署 • 性能優化
倉庫結構
edgeai-for-beginners/
├── 📖 introduction.md # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/ # Fundamentals → SLMs → Deployment → Optimization
├── 🔧 Module05-06/ # SLMOps → AI Agents → Function Calling
├── 💻 Module07/ # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/ # Foundry Local Toolkit + 10 Comprehensive Samples
│ ├── samples/01-06/ # Foundation: REST, SDK, RAG, Agents, Routing
│ └── samples/07-10/ # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/ # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md # Structured learning paths & time allocation課程亮點
✅ 漸進式學習:理論 → 實作 → 生產部署
✅ 實際案例分析:Microsoft、日本航空、企業實施案例
✅ 動手範例:50+ 範例,10 個完整 Foundry 本地演示
✅ 性能重點:提升 85% 速度,減少 75% 體積
✅ 多平台支援:Windows、行動、嵌入式、雲邊混合
✅ 生產準備:監控、擴展、安全、合規框架
📖 學習指南:結構化 20 小時學習路徑,包含時間分配指引與自我評估工具。
邊緣 AI 代表 AI 部署的未來:以本地優先、保護隱私、高效能為目標。掌握這些技能,打造下一代智慧應用。
其他課程
我們團隊還提供其他課程!請查閱:
LangChain
Azure / Edge / MCP / Agents
生成式人工智能系列
核心學習
Copilot 系列
尋求幫助
如果你卡住或者對建立 AI 應用程式有任何疑問,歡迎加入:
如果你在開發過程中有產品回饋或錯誤,請造訪:
免責聲明:
本文件使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們盡力確保準確性,但請注意,自動翻譯可能包含錯誤或不準確之處。文件的原始語言版本應被視為權威來源。對於重要資訊,建議使用專業人工翻譯。因使用本翻譯所引起的任何誤解或錯譯,我們概不負責。
