Chapter 64
EdgeAI cho Người Mới Bắt Đầu
EdgeAI cho Người Mới Bắt Đầu

Hãy làm theo các bước sau để bắt đầu sử dụng các tài nguyên này:
- Fork Kho Lưu Trữ: Nhấp vào
- Clone Kho Lưu Trữ:
git clone https://github.com/microsoft/edgeai-for-beginners.git - Tham gia Azure AI Foundry Discord và gặp gỡ các chuyên gia cùng các nhà phát triển khác
🌐 Hỗ Trợ Đa Ngôn Ngữ
Hỗ trợ qua GitHub Action (Tự động & Luôn Cập Nhật)
Tiếng Ả Rập | Tiếng Bengal | Tiếng Bulgaria | Tiếng Miến Điện (Myanmar) | Tiếng Trung (Giản thể) | Tiếng Trung (Phồn thể, Hồng Kông) | Tiếng Trung (Phồn thể, Macau) | Tiếng Trung (Phồn thể, Đài Loan) | Tiếng Croatia | Tiếng Séc | Tiếng Đan Mạch | Tiếng Hà Lan | Tiếng Estonia | Tiếng Phần Lan | Tiếng Pháp | Tiếng Đức | Tiếng Hy Lạp | Tiếng Do Thái | Tiếng Hindi | Tiếng Hungary | Tiếng Indonesia | Tiếng Ý | Tiếng Nhật | Tiếng Kannada | Tiếng Khmer | Tiếng Hàn | Tiếng Litva | Tiếng Mã Lai | Tiếng Malayalam | Tiếng Marathi | Tiếng Nepali | Tiếng Pidgin Nigeria | Tiếng Na Uy | Tiếng Ba Tư (Farsi) | Tiếng Ba Lan | Tiếng Bồ Đào Nha (Brazil) | Tiếng Bồ Đào Nha (Bồ Đào Nha) | Tiếng Punjabi (Gurmukhi) | Tiếng Romania | Tiếng Nga | Tiếng Serbia (Chữ Cyrillic) | Tiếng Slovakia | Tiếng Slovenia | Tiếng Tây Ban Nha | Tiếng Swahili | Tiếng Thụy Điển | Tiếng Tagalog (Filipino) | Tiếng Tamil | Tiếng Telugu | Tiếng Thái | Tiếng Thổ Nhĩ Kỳ | Tiếng Ukraina | Tiếng Urdu | Tiếng Việt
Thích Clone Cục Bộ?
Kho lưu trữ này bao gồm hơn 50 bản dịch ngôn ngữ, điều này làm tăng đáng kể kích thước tải xuống. Để clone mà không có bản dịch, sử dụng sparse checkout:
Bash / macOS / Linux:
bashgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'CMD (Windows):
cmdgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"Điều này cho bạn mọi thứ cần thiết để hoàn thành khóa học với tốc độ tải xuống nhanh hơn nhiều.
Nếu bạn muốn có thêm các ngôn ngữ dịch khác được hỗ trợ, vui lòng xem danh sách tại đây
Giới Thiệu
Chào mừng đến với EdgeAI cho Người Mới Bắt Đầu – hành trình toàn diện của bạn vào thế giới chuyển đổi của Trí Tuệ Nhân Tạo trên thiết bị Edge. Khóa học này kết nối khoảng cách giữa khả năng AI mạnh mẽ và triển khai thực tế ngay tại các thiết bị edge, giúp bạn khai thác tiềm năng AI ngay tại nơi dữ liệu được tạo ra và nơi cần ra quyết định.
Những Điều Bạn Sẽ Thành Thạo
Khóa học này dẫn bạn từ các khái niệm cơ bản đến các triển khai sẵn sàng sản xuất, bao gồm:
- Mô hình Ngôn ngữ Nhỏ (SLMs) được tối ưu hóa cho triển khai edge
- Tối ưu hóa nhận thức phần cứng trên nhiều nền tảng đa dạng
- Phân tích theo thời gian thực với khả năng bảo vệ quyền riêng tư
- Chiến lược triển khai sản xuất cho các ứng dụng doanh nghiệp
Tại Sao EdgeAI Lại Quan Trọng
Edge AI đại diện cho một sự chuyển đổi mô hình giải quyết các thách thức quan trọng hiện nay:
- Bảo mật & Riêng tư: Xử lý dữ liệu nhạy cảm tại chỗ mà không cần đưa lên đám mây
- Hiệu suất theo thời gian thực: Loại bỏ độ trễ mạng cho các ứng dụng đòi hỏi thời gian nhanh
- Hiệu quả về chi phí: Giảm băng thông và chi phí tính toán đám mây
- Vận hành bền vững: Duy trì chức năng khi mạng bị gián đoạn
- Tuân thủ pháp lý: Đáp ứng yêu cầu chủ quyền dữ liệu
Edge AI
Edge AI là thuật ngữ chỉ việc chạy các thuật toán AI và mô hình ngôn ngữ ngay tại phần cứng gần nơi dữ liệu được sinh ra mà không cần dựa vào tài nguyên đám mây để suy luận. Điều này giảm độ trễ, nâng cao quyền riêng tư và cho phép ra quyết định theo thời gian thực.
Nguyên Tắc Cốt Lõi:
- Suy luận trên thiết bị: Mô hình AI chạy trên các thiết bị edge (điện thoại, bộ định tuyến, vi điều khiển, máy tính công nghiệp)
- Khả năng hoạt động ngoại tuyến: Hoạt động mà không cần kết nối internet liên tục
- Độ trễ thấp: Phản hồi ngay lập tức phù hợp với hệ thống thời gian thực
- Chủ quyền dữ liệu: Giữ dữ liệu nhạy cảm tại chỗ, nâng cao bảo mật và tuân thủ
Mô hình Ngôn ngữ Nhỏ (SLMs)
SLMs như Phi-4, Mistral-7B và Gemma là các phiên bản được tối ưu hóa của các LLM lớn hơn — được huấn luyện hoặc chưng cất để:
- Giảm dung lượng bộ nhớ: Sử dụng hiệu quả bộ nhớ hạn chế của thiết bị edge
- Giảm yêu cầu tính toán: Tối ưu cho hiệu năng CPU và GPU trên thiết bị edge
- Thời gian khởi động nhanh hơn: Khởi tạo nhanh cho các ứng dụng cần phản hồi nhanh
Chúng mở khóa các khả năng NLP mạnh mẽ trong khi đáp ứng các giới hạn của:
- Hệ thống nhúng: Thiết bị IoT và bộ điều khiển công nghiệp
- Thiết bị di động: Điện thoại thông minh và máy tính bảng có khả năng ngoại tuyến
- Thiết bị IoT: Cảm biến và thiết bị thông minh với tài nguyên hạn chế
- Máy chủ edge: Đơn vị xử lý địa phương với tài nguyên GPU hạn chế
- Máy tính cá nhân: Kịch bản triển khai trên máy tính để bàn và laptop
Các Mô-đun Khóa Học & Điều Hướng
| Mô-đun | Chủ đề | Khu vực tập trung | Nội dung chính | Trình độ | Thời lượng |
|---|---|---|---|---|---|
| 📖 00 | Giới thiệu về EdgeAI | Nền tảng & Bối cảnh | Tổng quan EdgeAI • Ứng dụng ngành • Giới thiệu SLM • Mục tiêu học tập | Người mới bắt đầu | 1-2 giờ |
| 📚 01 | Kiến thức cơ bản về EdgeAI | So sánh Cloud và Edge AI | Kiến thức cơ bản EdgeAI • Nghiên cứu thực tế • Hướng dẫn triển khai • Triển khai trên Edge | Người mới bắt đầu | 3-4 giờ |
| 🧠 02 | Nền tảng Mô hình SLM | Gia đình mô hình & kiến trúc | Gia đình Phi • Gia đình Qwen • Gia đình Gemma • BitNET • μModel • Phi-Silica | Người mới bắt đầu | 4-5 giờ |
| 🚀 03 | Thực hành Triển khai SLM | Triển khai cục bộ & đám mây | Học nâng cao • Môi trường cục bộ • Triển khai đám mây | Trung cấp | 4-5 giờ |
| ⚙️ 04 | Bộ Công Cụ Tối Ưu Mô Hình | Tối ưu đa nền tảng | Giới thiệu • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • Tổng hợp quy trình | Trung cấp | 5-6 giờ |
| 🔧 05 | SLMOps Sản Xuất | Vận hành sản xuất | Giới thiệu SLMOps • Chưng cất mô hình • Điều chỉnh tinh • Triển khai sản xuất | Nâng cao | 5-6 giờ |
| 🤖 06 | Tác nhân AI & Gọi Hàm | Khung tác nhân & MCP | Giới thiệu tác nhân • Gọi hàm • Giao thức Ngữ cảnh mô hình | Nâng cao | 4-5 giờ |
| 💻 07 | Triển khai trên Nền tảng | Ví dụ đa nền tảng | Bộ công cụ AI • Foundry Local • Phát triển Windows | Nâng cao | 3-4 giờ |
| 🏭 08 | Bộ Công Cụ Foundry Local | Ví dụ sẵn sàng sản xuất | Ứng dụng mẫu (xem chi tiết bên dưới) | Chuyên gia | 8-10 giờ |
🏭 Mô-đun 08: Ứng Dụng Mẫu
- 01: Khởi động nhanh REST Chat
- 02: Tích hợp SDK OpenAI
- 03: Khám phá & Đánh giá mô hình
- 04: Ứng dụng Chainlit RAG
- 05: Tổ chức đa tác nhân
- 06: Bộ định tuyến Mô hình như Công cụ
- 07: Khách hàng API trực tiếp
- 08: Ứng dụng Chat Windows 11
- 09: Hệ thống đa tác nhân nâng cao
- 10: Khung công cụ Foundry
🎓 Hội Thảo: Lộ Trình Học Tập Thực Hành
Tài liệu hội thảo thực hành toàn diện với các triển khai sẵn sàng sản xuất:
- Hướng dẫn Hội thảo - Mục tiêu học tập hoàn chỉnh, kết quả và điều hướng tài nguyên
- Ví dụ Python (6 buổi) - Cập nhật với các phương pháp tốt nhất, xử lý lỗi và tài liệu đầy đủ
- Sổ tay Jupyter (8 tương tác) - Hướng dẫn từng bước với điểm chuẩn và theo dõi hiệu năng
- Hướng dẫn Buổi học - Hướng dẫn markdown chi tiết cho từng buổi hội thảo
- Công cụ Kiểm tra - Tập lệnh xác minh chất lượng mã và chạy kiểm tra nhanh
Những gì bạn sẽ xây dựng:
- Ứng dụng trò chuyện AI cục bộ với hỗ trợ streaming
- Pipeline RAG với đánh giá chất lượng (RAGAS)
- Công cụ đánh giá và so sánh đa mô hình
- Hệ thống tổ chức đa tác nhân
- Điều hướng mô hình thông minh với lựa chọn dựa trên tác vụ
🎙️ Hội thảo cho Agentic: Thực hành - Studio Podcast AI
Xây dựng một quy trình sản xuất podcast được hỗ trợ bởi AI từ đầu! Workshop nhập vai này sẽ dạy bạn tạo ra một hệ thống đa tác nhân hoàn chỉnh biến ý tưởng thành các tập podcast chuyên nghiệp.
🎬 Bắt Đầu Workshop AI Podcast Studio
Nhiệm Vụ Của Bạn: Ra mắt "Future Bytes" — một podcast công nghệ hoàn toàn do các tác nhân AI bạn tự xây dựng vận hành. Không phụ thuộc đám mây, không tốn phí API — mọi thứ chạy hoàn toàn trên máy của bạn.
Điều Gì Làm Nên Sự Độc Đáo:
- 🤖 Điều Phối Đa Tác Nhân Thực Thụ - Xây dựng các tác nhân AI chuyên biệt nghiên cứu, viết và sản xuất âm thanh
- 🎯 Quy Trình Sản Xuất Hoàn Chỉnh - Từ chọn chủ đề đến đầu ra âm thanh podcast cuối cùng
- 💻 Triển Khai 100% Cục Bộ - Sử dụng Ollama và các mô hình cục bộ (Qwen-3-8B) đảm bảo quyền riêng tư và kiểm soát toàn diện
- 🎤 Tích Hợp Văn Bản Thành Giọng Nói - Chuyển kịch bản thành các cuộc hội thoại đa diễn giả tự nhiên
- ✋ Quy Trình Có Can Thiệp Con Người - Các bước phê duyệt đảm bảo chất lượng trong khi vẫn duy trì tự động hóa
Hành Trình Học Ba Phần:
| Phần | Trọng Tâm | Kỹ Năng Chính | Thời Lượng |
|---|---|---|---|
| Phần 1: Làm Quen Với Các Trợ Lý AI | Xây dựng tác nhân AI đầu tiên của bạn | Tích hợp công cụ • Tìm kiếm web • Giải quyết vấn đề • Lý luận có tác nhân | 2-3 giờ |
| Phần 2: Tập Hợp Đội Sản Xuất | Điều phối nhiều tác nhân | Phối hợp đội nhóm • Quy trình phê duyệt • Giao diện DevUI • Giám sát con người | 3-4 giờ |
| Phần 3: Hiện Thực Hóa Podcast Của Bạn | Tạo âm thanh podcast | Văn bản thành giọng nói • Tổng hợp đa diễn giả • Âm thanh dài • Tự động hóa toàn diện | 2-3 giờ |
Công Nghệ Sử Dụng:
- Microsoft Agent Framework - Điều phối và phối hợp đa tác nhân
- Ollama - Môi trường chạy mô hình AI cục bộ (không cần đám mây)
- Qwen-3-8B - Mô hình ngôn ngữ mã nguồn mở tối ưu cho các tác vụ có tác nhân
- API Văn Bản Thành Giọng Nói - Tổng hợp giọng nói tự nhiên dùng để tạo podcast
Hỗ Trợ Phần Cứng:
- ✅ Chế Độ CPU - Chạy trên mọi máy tính hiện đại (khuyên dùng 8GB+ RAM)
- 🚀 Tăng Tốc GPU - Thực thi nhanh hơn đáng kể với GPU NVIDIA/AMD
- ⚡ Hỗ Trợ NPU - Tăng tốc bằng đơn vị xử lý thần kinh thế hệ mới
Phù Hợp Cho:
- Nhà phát triển muốn học hệ thống AI đa tác nhân
- Người quan tâm đến tự động hóa AI và quy trình làm việc
- Người sáng tạo nội dung khám phá sản xuất hỗ trợ AI
- Sinh viên nghiên cứu các mẫu phối hợp AI thực tế
Bắt Đầu Xây Dựng: 🎙️ Workshop AI Podcast Studio →
📊 Tóm Tắt Lộ Trình Học
- Tổng Thời Lượng: 36-45 giờ
- Lộ Trình Người Mới: Module 01-02 (7-9 giờ)
- Lộ Trình Trung Cấp: Module 03-04 (9-11 giờ)
- Lộ Trình Nâng Cao: Module 05-07 (12-15 giờ)
- Lộ Trình Chuyên Gia: Module 08 (8-10 giờ)
Những Gì Bạn Sẽ Xây Dựng
🎯 Năng Lực Cốt Lõi
- Kiến Trúc AI Cạnh: Thiết kế hệ thống AI ưu tiên cục bộ có tích hợp đám mây
- Tối Ưu Mô Hình: Lượng tử hóa và nén mô hình để triển khai edge (tăng tốc 85%, giảm kích thước 75%)
- Triển Khai Đa Nền Tảng: Windows, di động, nhúng và hệ thống lai đám mây-cạnh
- Vận Hành Sản Xuất: Giám sát, mở rộng và duy trì AI cạnh trong sản xuất
🏗️ Dự Án Thực Tiễn
- Ứng Dụng Chat Cục Bộ Foundry: Ứng dụng Windows 11 bản địa với khả năng chuyển đổi mô hình
- Hệ Thống Đa Tác Nhân: Điều phối viên với các tác nhân chuyên gia cho quy trình phức tạp
- Ứng Dụng RAG: Xử lý tài liệu cục bộ với tìm kiếm vector
- Bộ Chuyển Mô Hình: Lựa chọn thông minh giữa các mô hình dựa trên phân tích tác vụ
- Khung API: Khách hàng sẵn sàng sản xuất với streaming và giám sát sức khỏe
- Công Cụ Đa Nền Tảng: Mẫu tích hợp LangChain/Semantic Kernel
🏢 Ứng Dụng Trong Ngành
Sản Xuất • Chăm Sóc Sức Khỏe • Phương Tiện Tự Lái • Thành Phố Thông Minh • Ứng Dụng Di Động
Bắt Đầu Nhanh
Lộ Trình Học Đề Xuất (20-30 giờ tổng cộng):
- 📖 Giới Thiệu (Introduction.md): Nền tảng EdgeAI + bối cảnh ngành + khung học tập
- 📚 Nền Tảng (Module 01-02): Khái niệm EdgeAI + các dòng mô hình SLM
- ⚙️ Tối Ưu (Module 03-04): Triển khai + khung lượng tử hóa
- 🚀 Sản Xuất (Module 05-06): SLMOps + tác nhân AI + gọi hàm
- 💻 Triển Khai (Module 07-08): Các mẫu nền tảng + bộ công cụ Foundry Local
Mỗi module bao gồm lý thuyết, bài tập thực hành và ví dụ mã sẵn sàng sản xuất.
Tác Động Nghề Nghiệp
Vai Trò Kỹ Thuật: Kiến trúc sư giải pháp EdgeAI • Kỹ sư ML (Edge) • Nhà phát triển AI IoT • Nhà phát triển AI di động
Ngành Công Nghiệp: Sản Xuất 4.0 • Công nghệ chăm sóc sức khỏe • Hệ thống tự động • FinTech • Điện tử tiêu dùng
Dự Án Hồ Sơ: Hệ thống đa tác nhân • Ứng dụng RAG sản xuất • Triển khai đa nền tảng • Tối ưu hiệu suất
Cấu Trúc Kho Lưu Trữ
edgeai-for-beginners/
├── 📖 introduction.md # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/ # Fundamentals → SLMs → Deployment → Optimization
├── 🔧 Module05-06/ # SLMOps → AI Agents → Function Calling
├── 💻 Module07/ # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/ # Foundry Local Toolkit + 10 Comprehensive Samples
│ ├── samples/01-06/ # Foundation: REST, SDK, RAG, Agents, Routing
│ └── samples/07-10/ # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/ # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md # Structured learning paths & time allocationĐiểm Nổi Bật Khóa Học
✅ Học Tăng Tiến: Lý thuyết → Thực hành → Triển khai sản xuất
✅ Nghiên Cứu Thực Tế: Microsoft, Japan Airlines, triển khai doanh nghiệp
✅ Ví Dụ Thực Hành: Hơn 50 ví dụ, 10 demo Foundry Local toàn diện
✅ Tập Trung Hiệu Suất: Tăng tốc 85%, giảm kích thước 75%
✅ Đa Nền Tảng: Windows, di động, nhúng, lai đám mây-cạnh
✅ Sẵn Sàng Sản Xuất: Giám sát, mở rộng, bảo mật, tuân thủ
📖 Hướng Dẫn Học: Lộ trình học 20 giờ có cấu trúc với phân bổ thời gian và công cụ tự đánh giá.
EdgeAI đại diện cho tương lai của triển khai AI: ưu tiên cục bộ, bảo vệ quyền riêng tư và hiệu quả. Thành thạo các kỹ năng này để xây dựng thế hệ ứng dụng thông minh tiếp theo.
Các Khóa Học Khác
Đội ngũ của chúng tôi còn sản xuất các khóa học khác! Xem tại:
LangChain
Azure / Edge / MCP / Agents
Chuỗi AI Tạo Sinh
Học Cốt Lõi
Chuỗi Copilot
Nhận Trợ Giúp
Nếu bạn bị mắc kẹt hoặc có bất kỳ câu hỏi nào về xây dựng ứng dụng AI, hãy tham gia:
Nếu bạn có phản hồi về sản phẩm hoặc lỗi trong quá trình xây dựng, hãy truy cập:
Tuyên bố miễn trách nhiệm:
Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI Co-op Translator. Trong khi chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ nguyên bản nên được coi là nguồn tham khảo chính thức. Đối với thông tin quan trọng, nên sử dụng dịch thuật chuyên nghiệp của con người. Chúng tôi không chịu trách nhiệm về bất kỳ sự hiểu nhầm hoặc giải thích sai nào phát sinh từ việc sử dụng bản dịch này.
