llamafile

Runanywhere SDKs

开源⭐ 10k↓1

github.com/RunanywhereAI/runanywhere-sdks

跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。

🎯移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私

🎯生产环境模型推理服务、多模态内容理解与生成

面向金融市场的 Foundation Model，将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发，GitHub 20K+ 星，周增 3200+ 星，是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据，可对接主流交易 API。

🎯金融时间序列预测、量化交易策略生成、市场趋势分析

Apple Silicon 专用 LLM 推理服务器，支持连续批处理和 SSD 缓存，从 macOS 菜单栏管理。为 Mac 用户提供了一键式 LLM 本地部署方案，14K+ stars

🎯本地模型运行与推理服务