Ollama使用方法

Ollama 是一个用于在本地运行、管理和部署大型语言模型（LLM）的工具，支持多种开源模型（如 LLaMA、Mistral、Gemma 等）。以下是详细的使用方法：

1. 安装 Ollama

  • 官网下载：

    访问 Ollama 官网 下载对应操作系统的安装包（支持 macOS、Linux、Windows）。
  • Linux 一键安装：
  curl -fsSL https://ollama.com/install.sh | sh

2. 基本命令

拉取模型

ollama pull <模型名>

常用模型：

  • llama3：Meta 的 LLaMA 3
  • mistral：轻量级高性能模型
  • gemma：Google 的 Gemma
  • phi3：微软的 Phi-3

示例：

ollama pull llama3

运行模型

ollama run <模型名>

运行后会进入交互式聊天界面，直接输入问题即可。

查看已下载模型

ollama list

删除模型

ollama delete <模型名>

3. 高级用法

自定义模型（Modelfile）

  1. 创建 Modelfile 文件，例如：

    dockerfile

    FROM llama3
SYSTEM "你是一个擅长翻译的助手，专门将中文翻译成英文。"
  2. 创建自定义模型：
   ollama create <自定义模型名> -f Modelfile
  1. 运行自定义模型：
   ollama run <自定义模型名>

作为 API 使用

Ollama 默认在 11434 端口提供 REST API：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

与 Docker 集成

docker run -d -p 11434:11434 --name ollama ollama/ollama
docker exec ollama ollama pull llama3

4. 常见问题

  • GPU 加速：

    安装后会自动启用 GPU（需 NVIDIA 驱动和 CUDA），可通过 ollama serve 查看日志确认。
  • 离线使用：

    首次 pull 需联网，后续运行无需网络。

  • 模型存储位置：

    • Linux/macOS：~/.ollama/models
    • Windows：C:\Users\<用户名>\.ollama\models

5. 示例场景

翻译任务

ollama run llama3 "将以下句子翻译成英文：深度学习是人工智能的重要分支。"

代码生成

ollama run mistral "用 Python 写一个快速排序函数。"

通过以上步骤，你可以快速上手 Ollama。更多功能参考官方文档或运行 ollama --help。









results matching ""

    No results matching ""