Chapter 41
EdgeAI for Beginners
EdgeAI for Beginners
Follow these steps to get started using these resources:
- Fork the Repository: Click
- Clone the Repository:
git clone https://github.com/microsoft/edgeai-for-beginners.git - Join The Azure AI Foundry Discord and meet experts and fellow developers
🌐 Multi-Language Support
Supported via GitHub Action (Automated & Always Up-to-Date)
Arabic | Bengali | Bulgarian | Burmese (Myanmar) | Chinese (Simplified) | Chinese (Traditional, Hong Kong) | Chinese (Traditional, Macau) | Chinese (Traditional, Taiwan) | Croatian | Czech | Danish | Dutch | Estonian | Finnish | French | German | Greek | Hebrew | Hindi | Hungarian | Indonesian | Italian | Japanese | Kannada | Khmer | Korean | Lithuanian | Malay | Malayalam | Marathi | Nepali | Nigerian Pidgin | Norwegian | Persian (Farsi) | Polish | Portuguese (Brazil) | Portuguese (Portugal) | Punjabi (Gurmukhi) | Romanian | Russian | Serbian (Cyrillic) | Slovak | Slovenian | Spanish | Swahili | Swedish | Tagalog (Filipino) | Tamil | Telugu | Thai | Turkish | Ukrainian | Urdu | Vietnamese
Prefer to Clone Locally?
This repository includes 50+ language translations which significantly increases the download size. To clone without translations, use sparse checkout:
Bash / macOS / Linux:
bashgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'CMD (Windows):
cmdgit clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"This gives you everything you need to complete the course with a much faster download.
If you wish to have additional translations languages supported are listed here
Introduction
Welcome to EdgeAI for Beginners – your comprehensive journey into the transformative world of Edge Artificial Intelligence. This course bridges the gap between powerful AI capabilities and practical, real-world deployment on edge devices, empowering you to harness AI's potential directly where data is generated and decisions need to be made.
What You'll Master
This course takes you from fundamental concepts to production-ready implementations, covering:
- Small Language Models (SLMs) optimized for edge deployment
- Hardware-aware optimization across diverse platforms
- Real-time inference with privacy-preserving capabilities
- Production deployment strategies for enterprise applications
Why EdgeAI Matters
Edge AI represents a paradigm shift that addresses critical modern challenges:
- Privacy & Security: Process sensitive data locally without cloud exposure
- Real-time Performance: Eliminate network latency for time-critical applications
- Cost Efficiency: Reduce bandwidth and cloud computing expenses
- Resilient Operations: Maintain functionality during network outages
- Regulatory Compliance: Meet data sovereignty requirements
Edge AI
Edge AI refers to running AI algorithms and language models locally on hardware, close to where data is generated without relying on cloud resources for inference. It reduces latency, enhances privacy, and enables real-time decision-making.
Core Principles:
- On-device inference: AI models run on edge devices (phones, routers, microcontrollers, industrial PCs)
- Offline capability: Functions without persistent internet connectivity
- Low latency: Immediate responses suited for real-time systems
- Data sovereignty: Keeps sensitive data local, improving security and compliance
Small Language Models (SLMs)
SLMs like Phi-4, Mistral-7B, and Gemma are optimized versions of larger LLMs—trained or distilled for:
- Reduced memory footprint: Efficient use of limited edge device memory
- Lower compute demand: Optimized for CPU and edge GPU performance
- Faster startup times: Quick initialization for responsive applications
They unlock powerful NLP capabilities while meeting the constraints of:
- Embedded systems: IoT devices and industrial controllers
- Mobile devices: Smartphones and tablets with offline capabilities
- IoT Devices: Sensors and smart devices with limited resources
- Edge servers: Local processing units with limited GPU resources
- Personal Computers: Desktop and laptop deployment scenarios
Course Modules & Navigation
| Module | Topic | Focus Area | Key Content | Level | Duration |
|---|---|---|---|---|---|
| 📖 00 | Introduction to EdgeAI | Foundation & Context | EdgeAI Overview • Industry Applications • SLM Introduction • Learning Objectives | Beginner | 1-2 hrs |
| 📚 01 | EdgeAI Fundamentals | Cloud vs Edge AI comparison | EdgeAI Fundamentals • Real World Case Studies • Implementation Guide • Edge Deployment | Beginner | 3-4 hrs |
| 🧠 02 | SLM Model Foundations | Model families & architecture | Phi Family • Qwen Family • Gemma Family • BitNET • μModel • Phi-Silica | Beginner | 4-5 hrs |
| 🚀 03 | SLM Deployment Practice | Local & cloud deployment | Advanced Learning • Local Environment • Cloud Deployment | Intermediate | 4-5 hrs |
| ⚙️ 04 | Model Optimization Toolkit | Cross-platform optimization | Introduction • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • Workflow Synthesis | Intermediate | 5-6 hrs |
| 🔧 05 | SLMOps Production | Production operations | SLMOps Introduction • Model Distillation • Fine-tuning • Production Deployment | Advanced | 5-6 hrs |
| 🤖 06 | AI Agents & Function Calling | Agent frameworks & MCP | Agent Introduction • Function Calling • Model Context Protocol | Advanced | 4-5 hrs |
| 💻 07 | Platform Implementation | Cross-platform samples | AI Toolkit • Foundry Local • Windows Development | Advanced | 3-4 hrs |
| 🏭 08 | Foundry Local Toolkit | Production-ready samples | Sample applications (see details below) | Expert | 8-10 hrs |
🏭 Module 08: Sample Applications
- 01: REST Chat Quickstart
- 02: OpenAI SDK Integration
- 03: Model Discovery & Benchmarking
- 04: Chainlit RAG Application
- 05: Multi-Agent Orchestration
- 06: Models-as-Tools Router
- 07: Direct API Client
- 08: Windows 11 Chat App
- 09: Advanced Multi-Agent System
- 10: Foundry Tools Framework
🎓 Workshop: Hands-On Learning Path
Comprehensive hands-on workshop materials with production-ready implementations:
- Workshop Guide - Complete learning objectives, outcomes, and resource navigation
- Python Samples (6 sessions) - Updated with best practices, error handling, and comprehensive documentation
- Jupyter Notebooks (8 interactive) - Step-by-step tutorials with benchmarks and performance monitoring
- Session Guides - Detailed markdown guides for each workshop session
- Validation Tools - Scripts to verify code quality and run smoke tests
What You'll Build:
- Local AI chat applications with streaming support
- RAG pipelines with quality evaluation (RAGAS)
- Multi-model benchmarking and comparison tools
- Multi-agent orchestration systems
- Intelligent model routing with task-based selection
🎙️ Workshop For Agentic: Hands-On - The AI Podcast Studio
စတင်ကတည်းက AI အားဖြင့် ထောက်ပံ့ထားသော podcast ထုတ်လုပ်မှု လုပ်ငန်းစဉ်ကို တည်ဆောက်လိုက်ပါ! ဒီ immersive အလုပ်ရုံဆွေးနွေးပွဲက သင်ကို အကြောင်းအရာများကို ပရော်ဖက်ရှင်နယ် podcast အပိုင်းအစများအဖြစ် ပြောင်းလဲပေးမည့် စုံလင်သော multi-agent စနစ်တစ်ခု ဖန်တီးပေးတယ်။
🎬 Start The AI Podcast Studio Workshop
သင့်မစ်ရှင်: "Future Bytes" — သင့်ကိုယ်ပိုင် AI အေးဂျင့်များဖြင့် အပြည့်အဝ ထောက်ပံ့ပေးသည့် နောက်လာမည့် နည်းပညာ podcast ကို စတင်ဖွင့်လှစ်ပါ။ မည်သည့် cloud ဆက်သွယ်မှုမရှိ၊ API ကုန်ကျစရိတ်မရှိပါ။ အားလုံးကို သင့်ကွန်ပျူတာပေါ်တွင် တိကျစွာ လည်ပတ်စေမည်။
ဒီအရာကို အထူးကောင်းမြန်သောအချက်များ:
- 🤖 အမှန်တကယ် Multi-Agent စီမံခန့်ခွဲမှု - သုတေသနလုပ်ခြင်း၊ စာရေးခြင်းနှင့် အသံထုတ်လုပ်ခြင်းအတွက် အထူးပြု AI အေးဂျင့်များ တည်ဆောက်ပါ
- 🎯 စုံလင်သော ထုတ်လုပ်မှု လုပ်ငန်းစဉ် - အကြောင်းအရာ ရွေးချယ်မှုမှ နောက်ဆုံး podcast အသံထွက်ထိ
- 💻 100% ဒေသတွင်း ထည့်သွင်းခြင်း - Ollama နှင့် ဒေသတွင်း မော်ဒယ်များ (Qwen-3-8B) ကို အသုံးပြု၍ ကိုယ်ပိုင် တာဝန်ယူမှုနှင့် လုံခြုံမှုထိန်းသိမ်းမှု
- 🎤 စာသားမှ အသံပုံဖော်ခြင်း ပေါင်းစပ်မှု - စာရိုက်ချက်များကို သဘာဝအသံတွေနဲ့ နာရီမောင်းပြောဆိုခြင်းများသို့ ပြောင်းလဲပေးသည်
- ✋ လူ့အကျိုးအမြတ်လတ်တလော လုပ်ငန်းစဉ်များ - အတည်ပြုခြင်း အဆင့်များက လုပ်ငန်းအရည်အသွေးကို သိပ်သိပ် ထိန်းသိမ်းပေးပြီး အလိုအလျောက်စနစ်ကို အားမနည်းစေ
သုံးအပိုင်းခွဲ သင်ယူမှု ခရီး:
| အပိုင်း | ဂရုပြုရန် | တတ်မြောက်ရမည့် ကျွမ်းကျင်မှုများ | အချိန်ကြာမြင့်ချိန် |
|---|---|---|---|
| အပိုင်း ၁: သင့် AI အကူအညီပေးအေးဂျင့်များနှင့် တွေ့ဆုံခြင်း | သင့် ပထမဆုံး AI အေးဂျင့်ကို တည်ဆောက်ခြင်း | ကိရိယာ ပေါင်းစပ်ခြင်း • ဝက်ဘ် ရှာဖွေရေး • ပြဿနာ ဖြေရှင်းခြင်း • Agentic ဒေါ်ယာနစ် | ၂-၃ နာရီ |
| အပိုင်း ၂: သင့် ထုတ်လုပ်မှု အဖွဲ့ကို စုပေါင်းခြင်း | အေးဂျင့်များစွာ ကို စီမံခန့်ခွဲခြင်း | အဖွဲ့ စီမံခြင်း • အတည်ပြု လုပ်ငန်းစဉ်များ • DevUI အင်တာဖေ့စ် • လူ့ ကြီးကြပ်မှု | ၃-၄ နာရီ |
| အပိုင်း ၃: သင့် podcast ကို ဘဝသို့ သွားစေခြင်း | Podcast အသံ ထုတ်လုပ်ခြင်း | စာသားမှ အသံ • စကားပြောသူများစွာ • ကြာရှည်အသံ • အလိုအလျောက်စနစ် | ၂-၃ နာရီ |
အသုံးပြုသော နည်းပညာများ:
- Microsoft Agent Framework - Multi-agent စီမံခန့်ခွဲခြင်းနှင့် ပူးပေါင်းဆောင်ရွက်မှု
- Ollama - ဒေသတွင်း AI မော်ဒယ် အသုံးပြုမှု (cloud မလိုအပ်)
- Qwen-3-8B - Agentic လုပ်ငန်းများအတွက် အကောင်းဆုံး ရရှိထားသော open-source ဘာသာစကား မော်ဒယ်
- စာသားမှ အသံ API များ - Podcast ထုတ်လုပ်ရန် သဘာဝအသံ ဖန်တီးမှု
ဟာဒ်ဝဲ ထောက်ခံမှု:
- ✅ CPU မုဒ် - မည်သည့် ခေတ်သစ် ကွန်ပြူတာမျိုးမဆို လည်ပတ်နိုင်သည် (8GB+ RAM အကြံပြု)
- 🚀 GPU အားဖြည့်မှု - NVIDIA/AMD GPU များဖြင့် အပြိုင်မြန်ဆန်မှု ပေးစွမ်းနိုင်သည်
- ⚡ NPU ထောက်ခံမှု - နောက်တန်း Neural Processing Unit အားဖြည့်မှု
သင့်တော်သော ပါးစပ်များ:
- Multi-agent AI စနစ်များ သင်ကြားလိုသူများ
- AI အလိုအလျောက်စနစ်နှင့် လုပ်ငန်းစဉ်များစိတ်ဝင်စားသူ မည်သူမဆို
- AI ကူညီမှုဖြင့် ထုတ်လုပ်မှု လုပ်ကိုင်သူများ
- အသုံးချနိုင်သော AI စီမံခန့်ခွဲမှု နမူနာများ လေ့လာနေသော ကျောင်းသားများ
စတင် တည်ဆောက်ရန်: 🎙️ The AI Podcast Studio Workshop →
📊 သင်ယူရေး လမ်းကြောင်း အကျဉ်းချုပ်
- စုစုပေါင်းကာလ: ၃၆-၄၅ နာရီ
- အစပြုပန်းတိုင်: မော်ဂျူး ၀၁-၀၂ (၇-၉ နာရီ)
- အလယ်အလတ်ပန်းတိုင်: မော်ဂျူး ၀၃-၀၄ (၉-၁၁ နာရီ)
- အဆင့်မြင့်ပန်းတိုင်: မော်ဂျူး ၀၅-၀၇ (၁၂-၁၅ နာရီ)
- ကျွမ်းကျင်သူ ပန်းတိုင်: မော်ဂျူး ၀၈ (၈-၁၀ နာရီ)
သင့်တည်ဆောက်မည့် အရာများ
🎯 အဓိကကျသော ကျွမ်းကျင်မှုများ
- Edge AI စနစ်ပုံစံ: ဒေသတွင်းနှင့် cloud ပေါင်းစပ်သော AI စနစ်များ ဒီဇိုင်းဆွဲခြင်း
- မော်ဒယ်ထိရောက်မှုတိုးတက်မှု: မော်ဒယ်များကို quantify လုပ်ကာ ဖိထားခြင်း (အရှိန် ၈၅% မြန်ဆန်၊ အရွယ်အစား ၇၅% လျော့နည်း)
- Multi-Platform ထည့်သွင်းခြင်း: Windows၊ မိုဘိုင်း၊ embedded နှင့် cloud-edge ပေါင်းစပ်စနစ်များ
- ထုတ်လုပ်မှု လုပ်ငန်းစဉ်များ: Edge AI ကို စောင့်ကြည့်ခြင်း၊ တိုးချဲ့ခြင်းနှင့် ထိန်းသိမ်းခြင်း
🏗️ လက်တွေ့ စီမံကိန်းများ
- Foundry ဒေသတွင်း စကားပြော အက်ပ်များ: Windows 11 native အက်ပ်၊ မော်ဒယ်ရွေးချယ်မှုပါ
- Multi-Agent စနစ်များ: အထူးပြု အေးဂျင့်များဖြင့် စီမံခန့်ခွဲသူ
- RAG အက်ပ်များ: ဒေသတွင်းစာရွက်များကို vector ရှာဖွေရေးဖြင့် ပြုပြင်ခြင်း
- မော်ဒယ်ရွေးချယ်စနစ်များ: လုပ်ငန်းတာဝန် များအလိုက် မော်ဒယ်ရွေးချယ်မှု စွမ်းရည်သုံးပြုမည်
- API ဖြတ်တောက်မှုများ: ထုတ်လုပ်မှုအဆင့် client များ၊ streaming နှင့်ဆေးခန်း စောင့်ကြည့်မှု
- Cross-Platform ကိရိယာများ: LangChain/Semantic Kernel ပေါင်းစပ်မှု နမူနာများ
🏢 စက်မှုလုပ်ငန်း အသုံးချမှုများ
စက်မှုလုပ်ငန်း • ကျန်းမာရေး • မောင်းနှင်သူမရှိကားများ • မြို့များ လူ့ဘောင် အသိပညာနည်းပညာ • မိုဘိုင်း အက်ပ်များ
စတင်ရန် လမ်းညွှန်
အကြံပြုသည့် သင်ယူရေး လမ်းကြောင်း (စုစုပေါင်း ၂၀-၃၀ နာရီ):
- 📖 မိတ်ဆက် (Introduction.md): EdgeAI အခြေခံ + စက်မှုနယ်ပယ် အကြောင်း + သင်ယူရေး စနစ်
- 📚 အခြေခံ (မော်ဂျူး ၀၁-၀၂): EdgeAI သဘောတရားများ + SLM မော်ဒယ် မိသားစုများ
- ⚙️ ထိရောက်မှု (မော်ဂျူး ၀၃-၀၄): ထည့်သွင်းခြင်း + quantify စနစ်များ
- 🚀 ထုတ်လုပ်မှု (မော်ဂျူး ၀၅-၀၆): SLMOps + AI အေးဂျင့်များ + function ဖုန်းခေါ်ခြင်း
- 💻 အကောင်အထည်ဖော်ခြင်း (မော်ဂျူး ၀၇-၀၈): စနစ် နမူနာများ + Foundry ဒေသတွင်း ကိရိယာ
မော်ဂျူးတိုင်းတွင် သီအိုရီ၊ လက်တွေ့ လေ့ကျင့်မှုများနှင့် ထုတ်လုပ်မှုကို ပြင်ဆင်ထားသော ကုဒ်နမူနာများ ပါဝင်သည်။
အလုပ်အကိုင် လမ်းကြောင်း
နည်းပညာ အခန်းကဏ္ဍများ: EdgeAI Solutions Architect • ML Engineer (Edge) • IoT AI Developer • Mobile AI Developer
စက်မှုနယ်ပယ်များ: စက်မှု ၄.၀ • ကျန်းမာရေး နည်းပညာ • မောင်းနှင်သူမရှိ စနစ်များ • FinTech • စားသုံးသူ လျှပ်စစ်ပစ္စည်းများ
ပရောဖိုလီယို စီမံကိန်းများ: Multi-agent စနစ်များ • ထုတ်လုပ်မှု RAG အက်ပ်များ • Cross-platform ထည့်သွင်းမှုများ • စွမ်းဆောင်ရည် တိုးတတ်မှု
ရှယ်ယာစားသောက်မှု ဖွဲ့စည်းမှု
edgeai-for-beginners/
├── 📖 introduction.md # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/ # Fundamentals → SLMs → Deployment → Optimization
├── 🔧 Module05-06/ # SLMOps → AI Agents → Function Calling
├── 💻 Module07/ # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/ # Foundry Local Toolkit + 10 Comprehensive Samples
│ ├── samples/01-06/ # Foundation: REST, SDK, RAG, Agents, Routing
│ └── samples/07-10/ # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/ # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md # Structured learning paths & time allocationသင်တန်းအထူးအင်္ဂါရပ်များ
✅ တိုးတက်စွာ လေ့လာခြင်း: သီအိုရီ → လက်တွေ့ → ထုတ်လုပ်မှု စနစ်ထည့်သွင်းခြင်း
✅ အမှန်တကယ် ကိစ္စစဥ်များ: Microsoft, Japan Airlines, စီးပွားရေး အကောင်အထည်ဖော်မှုများ
✅ လက်တွေ့ နမူနာများ: နမူနာ ၅၀ ကျော်၊ Foundry ဒေသတွင်း demo ၁၀ ခုပေါင်းစပ်မှု
✅ စွမ်းဆောင်ရည် အာရုံစိုက်မှု: အရှိန် ၈၅% မြန်ဆန်မှု၊ အရွယ်အစား ၇၅% လျော့နည်းမှု
✅ အမျိုးမျိုး ပလက်ဖောင်းများ: Windows, မိုဘိုင်း, embedded, cloud-edge ပေါင်းစပ်မှု
✅ ထုတ်လုပ်မှု အဆင့်သင့်: စောင့်ကြည့်မှု၊ တိုးချဲ့မှု၊ လုံခြုံမှုနှင့် ညီညွတ်မှု စနစ်များ
📖 လေ့လာရန် လမ်းညွှန် ရရှိနိုင်ပါသည်: သတ်မှတ်ထားသော ၂၀ နာရီ သင်ယူသော လမ်းကြောင်း၊ အချိန်ခွဲဝေပေးခြင်းနှင့် ကိုယ်တိုင် သုံးသပ်ရေး ကိရိယာများပါဝင်သည်။
EdgeAI သည် AI ထည့်သွင်းခြင်းအနာဂတ်ကို တင်ပြသည်: ဒေသတွင်းစနစ် အရင်တင်၊ ကိုယ်ပိုင်ရေးရာ အတွက် ထိန်းသိမ်းမှုနှင့် ထိရောက်မှုရှိစေသည်။ ဤကျွမ်းကျင်မှုများကို ကျွမ်းကျင်မှု အဆင့်မြှင့်စေပြီး မာနိက အဆင့်အသစ်အတွက် ရည်ရွယ်ကာ ဉာဏ်ရည်မြင့် ပရိုဂရမ်များ ဖန်တီးပါ။
အခြား သင်တန်းများ
ကျွန်ုပ်တို့အဖွဲ့သည် အခြား သင်တန်းများကို ထုတ်လုပ်ပါသည်! စဉ်းစားကြည့်ပါ:
LangChain
Azure / Edge / MCP / Agents
Generative AI Series
-9333EA?style=for-the-badge&labelColor=E5E7EB&color=9333EA){kind=icon}
-C084FC?style=for-the-badge&labelColor=E5E7EB&color=C084FC){kind=icon}
-E879F9?style=for-the-badge&labelColor=E5E7EB&color=E879F9){kind=icon}
Core Learning
Copilot Series
ကူညီမှု ရယူခြင်း
AI အက်ပ်များ တည်ဆောက်ရာတွင် စိန်ခေါ်မှု ဖြစ်ခဲ့ပါက သို့မဟုတ် မေးခွန်းများ ရှိပါက ဆက်သွယ်ရန် -
ထုတ်ကုန် တုံ့ပြန်ချက် သို့မဟုတ် အားနည်းချက်များရှိပါက -
ပယ်ချခြင်း: ဤစာတမ်းကို AI ဘာသာပြန်ခြင်းဝန်ဆောင်မှု Co-op Translator ကို အသုံးပြု၍ ဘာသာပြန်ထားခြင်း ဖြစ်ပါသည်။ ကျနော်တို့သည် တိကျမှုအတွက် ကြိုးပမ်းဆောင်ရွက်သည်ဖြစ်ပေမယ့် အလိုအလျှောက်ဘာသာပြန်မှုများတွင် ပြဿနာများ သို့မဟုတ် မှားယွင်းမှုများ ပါရှိနိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူရင်းစာတမ်းကို မှန်ကန်သောအချက်အလက်ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသောသတင်းအချက်အလက်များအတွက် မူရင်းလူကြီးများ၏ ဘာသာပြန်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ပြီးစာမျက်နှာကို အသုံးပြုရာမှ ဖြစ်ပေါ်လာနိုင်သော နားမလည်မှုများ သို့မဟုတ် မှားယွင်းနားလည်မှုများအတွက် ကျွန်ုပ်တို့မှာ တာဝန်မရှိပါ။