本地快速上手 Phi-3

本指南将帮助你设置本地环境，使用 Ollama 运行 Phi-3 模型。你可以通过多种方式运行该模型，包括使用 GitHub Codespaces、VS Code Dev Containers，或直接在本地环境中运行。

环境设置

GitHub Codespaces

你可以通过 GitHub Codespaces 在线运行此模板。点击按钮将在浏览器中打开基于 Web 的 VS Code 实例：

1. 打开模板（可能需要几分钟）：

   

2. 打开终端窗口

VS Code Dev Containers

⚠️ 此选项仅在你的 Docker Desktop 分配了至少 16 GB 内存时有效。如果内存不足 16 GB，可以尝试使用GitHub Codespaces 选项或本地环境设置。

另一个相关选项是 VS Code Dev Containers，它会使用Dev Containers 扩展在本地 VS Code 中打开项目：

1. 启动 Docker Desktop（如果未安装，请先安装）

2. 打开项目：

   

3. 在打开的 VS Code 窗口中，项目文件加载完成后（可能需要几分钟），打开终端窗口。

4. 继续执行部署步骤

本地环境

1. 确保已安装以下工具：

   • Ollama
   • Python 3.10+
   • OpenAI Python SDK

测试模型

1. 让 Ollama 下载并运行 phi3:mini 模型：

   shell复制

   ollama run phi3:mini

   下载模型可能需要几分钟。

2. 当输出中出现“success”时，即可从提示符向该模型发送消息。

   shell复制

   >>> Write a haiku about hungry hippos

3. 几秒钟后，你应该会看到模型返回的响应流。

4. 若想了解语言模型中使用的不同技术，请打开 Python 笔记本 ollama.ipynb 并运行每个单元格。如果你使用的不是 'phi3:mini' 模型，请修改第一个单元格中的 MODEL_NAME。

5. 若想通过 Python 与 phi3:mini 模型对话，请打开 Python 文件 chat.py 并运行。你可以根据需要修改文件顶部的 MODEL_NAME，也可以调整系统消息或添加少量示例。

免责声明：
本文件使用 AI 翻译服务 Co-op Translator 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。