API

本文内容均由Ollama官方文档翻译，仅供个人学习，如有差异请以官网文档为准（https://ollama.com）ollama.cadn.net.cn

端点

生成完成
生成聊天补全
创建模型
列出本地模型
显示模型信息
复制模型
删除模型
拉取模型
推送模型
生成嵌入向量
列出正在运行的模型
版本

约定

模型名称

模型名称遵循 model:tag 格式，其中 model 可以包含可选的命名空间，例如 example/model。一些示例为 orca-mini:3b-q4_1 和 llama3:70b。标签是可选的；若未提供，则默认为 latest。标签用于标识特定版本。ollama.cadn.net.cn

持续时间

所有时间间隔均以纳秒为单位返回。ollama.cadn.net.cn

流式响应

某些端点以 JSON 对象形式流式传输响应。可通过为这些端点提供 {"stream": false} 来禁用流式传输。ollama.cadn.net.cn

生成完成

POST /api/generate

使用指定模型为给定提示生成响应。这是一个流式接口，因此将返回一系列响应。最终响应对象将包含请求的统计数据及其他附加数据。ollama.cadn.net.cn

参数

model：（必填）模型名称
prompt：用于生成响应的提示内容
suffix: 模型响应后的文本
images：（可选）一组经过Base64编码的图像（适用于多模态模型，例如 llava）

高级参数（可选）：ollama.cadn.net.cn

format: 返回响应的格式。格式可以是 json 或 JSON Schema
options：文档中为 Modelfile 列出的其他模型参数，例如 temperature
system: 系统消息（覆盖在 Modelfile 中定义的内容）
template：要使用的提示模板（将覆盖在 Modelfile 中定义的内容）
stream：若 false，则响应将作为单个响应对象返回，而非对象流
raw：如果 true，则不会对提示文本应用任何格式化。若在向 API 发送的请求中已指定完整模板化提示文本，可选择使用 raw 参数。
keep_alive：控制模型在请求完成后保留在内存中的时长（默认值：5m）
context（已弃用）：上一次请求返回给 /generate 的上下文参数，可用于维持简短的对话记忆

结构化输出

结构化输出通过在 format 参数中提供 JSON Schema 来支持。模型将生成与该 Schema 匹配的响应。请参见下方的结构化输出示例。ollama.cadn.net.cn

JSON 模式

通过将 format 参数设置为 json 启用 JSON 模式。这将使响应结构为有效的 JSON 对象。请参见下方的 JSON 模式示例。ollama.cadn.net.cn

[!IMPORTANT] 务必指示模型在 prompt 中使用 JSON 格式。否则，模型可能会生成大量空白字符。ollama.cadn.net.cn

示例

生成请求（流式传输）

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "response": "The",
  "done": false
}

流中的最终响应还包含有关生成的附加数据：ollama.cadn.net.cn

total_duration: 生成响应所花费的时间
load_duration: 加载模型所花费的时间（单位：纳秒）
prompt_eval_count: 提示中的令牌数量
prompt_eval_duration: 评估提示所花费的时间（单位：纳秒）
eval_count: 响应中的令牌数量
eval_duration: 生成响应所花费的时间（单位：纳秒）
context：本次响应中使用的对话编码，可将其在下一次请求中发送，以保持对话记忆
response: 响应被流式传输时为空；若未被流式传输，则包含完整响应内容

要计算响应生成的速度（单位：tokens/s），请将 eval_count 除以 eval_duration 再乘以 10^9。ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 10706818083,
  "load_duration": 6338219291,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 130079000,
  "eval_count": 259,
  "eval_duration": 4232710000
}

请求（无流式传输）

请求

当流式传输关闭时，响应可在一次回复中接收。ollama.cadn.net.cn

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

响应

如果将 stream 设置为 false，响应将是一个单独的 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "The sky is blue because it is the color of the sky.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 5043500667,
  "load_duration": 5025959,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 325953000,
  "eval_count": 290,
  "eval_duration": 4709213000
}

请求（带后缀）

请求

curl http://localhost:11434/api/generate -d '{
  "model": "codellama:code",
  "prompt": "def compute_gcd(a, b):",
  "suffix": "    return result",
  "options": {
    "temperature": 0
  },
  "stream": false
}'

响应

{
  "model": "codellama:code",
  "created_at": "2024-07-22T20:47:51.147561Z",
  "response": "\n  if a == 0:\n    return b\n  else:\n    return compute_gcd(b % a, a)\n\ndef compute_lcm(a, b):\n  result = (a * b) / compute_gcd(a, b)\n",
  "done": true,
  "done_reason": "stop",
  "context": [...],
  "total_duration": 1162761250,
  "load_duration": 6683708,
  "prompt_eval_count": 17,
  "prompt_eval_duration": 201222000,
  "eval_count": 63,
  "eval_duration": 953997000
}

请求（结构化输出）

请求

curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
  "model": "llama3.1:8b",
  "prompt": "Ollama is 22 years old and is busy saving the world. Respond using JSON",
  "stream": false,
  "format": {
    "type": "object",
    "properties": {
      "age": {
        "type": "integer"
      },
      "available": {
        "type": "boolean"
      }
    },
    "required": [
      "age",
      "available"
    ]
  }
}'

响应

{
  "model": "llama3.1:8b",
  "created_at": "2024-12-06T00:48:09.983619Z",
  "response": "{\n  \"age\": 22,\n  \"available\": true\n}",
  "done": true,
  "done_reason": "stop",
  "context": [1, 2, 3],
  "total_duration": 1075509083,
  "load_duration": 567678166,
  "prompt_eval_count": 28,
  "prompt_eval_duration": 236000000,
  "eval_count": 16,
  "eval_duration": 269000000
}

请求（JSON 模式）

[!IMPORTANT] 当 format 被设置为 json 时，输出将始终是一个格式良好的 JSON 对象。同时，务必指示模型以 JSON 格式进行响应。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "What color is the sky at different times of the day? Respond using JSON",
  "format": "json",
  "stream": false
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-11-09T21:07:55.186497Z",
  "response": "{\n\"morning\": {\n\"color\": \"blue\"\n},\n\"noon\": {\n\"color\": \"blue-gray\"\n},\n\"afternoon\": {\n\"color\": \"warm gray\"\n},\n\"evening\": {\n\"color\": \"orange\"\n}\n}\n",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 4648158584,
  "load_duration": 4071084,
  "prompt_eval_count": 36,
  "prompt_eval_duration": 439038000,
  "eval_count": 180,
  "eval_duration": 4196918000
}

response 的值将是一个包含类似以下内容的 JSON 字符串：ollama.cadn.net.cn

{
  "morning": {
    "color": "blue"
  },
  "noon": {
    "color": "blue-gray"
  },
  "afternoon": {
    "color": "warm gray"
  },
  "evening": {
    "color": "orange"
  }
}

请求（含图片）

要向多模态模型（例如 llava 或 bakllava）提交图像，请提供一个 base64 编码的 images 列表：ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt":"What is in this picture?",
  "stream": false,
  "images": ["******"]
}'

响应

{
  "model": "llava",
  "created_at": "2023-11-03T15:36:02.583064Z",
  "response": "A happy cartoon character, which is cute and cheerful.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 2938432250,
  "load_duration": 2559292,
  "prompt_eval_count": 1,
  "prompt_eval_duration": 2195557000,
  "eval_count": 44,
  "eval_duration": 736432000
}

请求（原始模式）

在某些情况下，您可能希望绕过模板系统并提供完整的提示。此时，您可以使用 raw 参数来禁用模板功能。另外请注意，原始模式不会返回上下文信息。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt": "[INST] why is the sky blue? [/INST]",
  "raw": true,
  "stream": false
}'

请求（可复现输出）

为确保输出可复现，请将 seed 设置为一个数字：ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt": "Why is the sky blue?",
  "options": {
    "seed": 123
  }
}'

响应

{
  "model": "mistral",
  "created_at": "2023-11-03T15:36:02.583064Z",
  "response": " The sky appears blue because of a phenomenon called Rayleigh scattering.",
  "done": true,
  "total_duration": 8493852375,
  "load_duration": 6589624375,
  "prompt_eval_count": 14,
  "prompt_eval_duration": 119039000,
  "eval_count": 110,
  "eval_duration": 1779061000
}

生成请求（带选项）

如果您希望在运行时而非在 Modelfile 中设置模型的自定义选项，可以使用 options 参数。本示例设置了所有可用选项，但您也可以单独设置其中任意一个选项，并省略不想覆盖的选项。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false,
  "options": {
    "num_keep": 5,
    "seed": 42,
    "num_predict": 100,
    "top_k": 20,
    "top_p": 0.9,
    "min_p": 0.0,
    "typical_p": 0.7,
    "repeat_last_n": 33,
    "temperature": 0.8,
    "repeat_penalty": 1.2,
    "presence_penalty": 1.5,
    "frequency_penalty": 1.0,
    "mirostat": 1,
    "mirostat_tau": 0.8,
    "mirostat_eta": 0.6,
    "penalize_newline": true,
    "stop": ["\n", "user:"],
    "numa": false,
    "num_ctx": 1024,
    "num_batch": 2,
    "num_gpu": 1,
    "main_gpu": 0,
    "low_vram": false,
    "vocab_only": false,
    "use_mmap": true,
    "use_mlock": false,
    "num_thread": 8
  }
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "The sky is blue because it is the color of the sky.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 4935886791,
  "load_duration": 534986708,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 107345000,
  "eval_count": 237,
  "eval_duration": 4289432000
}

加载模型

如果提供了空的提示词，模型将被加载到内存中。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2"
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-12-18T19:52:07.071755Z",
  "response": "",
  "done": true
}

卸载模型

如果提供空提示且 keep_alive 参数设置为 0，模型将从内存中卸载。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "keep_alive": 0
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2024-09-12T03:54:03.516566Z",
  "response": "",
  "done": true,
  "done_reason": "unload"
}

生成聊天补全

POST /api/chat

使用提供的模型生成聊天中的下一条消息。这是一个流式接口，因此将返回一系列响应。可通过设置 "stream": false 禁用流式传输。最终响应对象将包含请求的统计信息及其他附加数据。ollama.cadn.net.cn

参数

model：（必填）模型名称
messages：聊天消息列表，可用于保持聊天记忆
tools: 供模型使用的工具列表（JSON格式），前提是该模型支持

message 对象具有以下字段：ollama.cadn.net.cn

role：消息的角色，可为 system、user、assistant 或 tool
content: 消息内容
images（可选）：要包含在消息中的图像列表（适用于 llava 等多模态模型）
tool_calls（可选）：模型希望使用的工具列表（JSON格式）

高级参数（可选）：ollama.cadn.net.cn

format：返回响应的格式。格式可以是 json 或一个 JSON 模式。
options：文档中为 Modelfile 列出的其他模型参数，例如 temperature
stream：若 false，则响应将作为单个响应对象返回，而非对象流
keep_alive：控制模型在请求完成后保留在内存中的时长（默认值：5m）

结构化输出

结构化输出通过在format参数中提供JSON模式来支持。模型将生成符合该模式的响应。请参阅下方的聊天请求（结构化输出）示例。ollama.cadn.net.cn

示例

聊天请求（流式传输）

请求

发送带有流式响应的聊天消息。ollama.cadn.net.cn

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ]
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "message": {
    "role": "assistant",
    "content": "The",
    "images": null
  },
  "done": false
}

最终响应：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "done": true,
  "total_duration": 4883583458,
  "load_duration": 1334875,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 342546000,
  "eval_count": 282,
  "eval_duration": 4535599000
}

聊天请求（非流式传输）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ],
  "stream": false
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-12-12T14:13:43.416799Z",
  "message": {
    "role": "assistant",
    "content": "Hello! How are you today?"
  },
  "done": true,
  "total_duration": 5191566416,
  "load_duration": 2154458,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 383809000,
  "eval_count": 298,
  "eval_duration": 4799921000
}

聊天请求（结构化输出）

请求

curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Ollama is 22 years old and busy saving the world. Return a JSON object with the age and availability."}],
  "stream": false,
  "format": {
    "type": "object",
    "properties": {
      "age": {
        "type": "integer"
      },
      "available": {
        "type": "boolean"
      }
    },
    "required": [
      "age",
      "available"
    ]
  },
  "options": {
    "temperature": 0
  }
}'

响应

{
  "model": "llama3.1",
  "created_at": "2024-12-06T00:46:58.265747Z",
  "message": { "role": "assistant", "content": "{\"age\": 22, \"available\": false}" },
  "done_reason": "stop",
  "done": true,
  "total_duration": 2254970291,
  "load_duration": 574751416,
  "prompt_eval_count": 34,
  "prompt_eval_duration": 1502000000,
  "eval_count": 12,
  "eval_duration": 175000000
}

聊天请求（含历史记录）

发送一条包含对话历史的聊天消息。您可以使用相同的方法，通过多轮提示（multi-shot）或思维链（chain-of-thought）提示来启动对话。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    },
    {
      "role": "assistant",
      "content": "due to rayleigh scattering."
    },
    {
      "role": "user",
      "content": "how is that different than mie scattering?"
    }
  ]
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "message": {
    "role": "assistant",
    "content": "The"
  },
  "done": false
}

最终响应：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "done": true,
  "total_duration": 8113331500,
  "load_duration": 6396458,
  "prompt_eval_count": 61,
  "prompt_eval_duration": 398801000,
  "eval_count": 468,
  "eval_duration": 7701267000
}

聊天请求（带图片）

请求

发送包含图像的聊天消息。图像应以数组形式提供，各图像需以Base64编码。ollama.cadn.net.cn

curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    {
      "role": "user",
      "content": "what is in this image?",
      "images": ["******"]
    }
  ]
}'

响应

{
  "model": "llava",
  "created_at": "2023-12-13T22:42:50.203334Z",
  "message": {
    "role": "assistant",
    "content": " The image features a cute, little pig with an angry facial expression. It's wearing a heart on its shirt and is waving in the air. This scene appears to be part of a drawing or sketching project.",
    "images": null
  },
  "done": true,
  "total_duration": 1668506709,
  "load_duration": 1986209,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 359682000,
  "eval_count": 83,
  "eval_duration": 1303285000
}

聊天请求（可复现输出）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "options": {
    "seed": 101,
    "temperature": 0
  }
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-12-12T14:13:43.416799Z",
  "message": {
    "role": "assistant",
    "content": "Hello! How are you today?"
  },
  "done": true,
  "total_duration": 5191566416,
  "load_duration": 2154458,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 383809000,
  "eval_count": 298,
  "eval_duration": 4799921000
}

聊天请求（含工具）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "What is the weather today in Paris?"
    }
  ],
  "stream": false,
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_current_weather",
        "description": "Get the current weather for a location",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The location to get the weather for, e.g. San Francisco, CA"
            },
            "format": {
              "type": "string",
              "description": "The format to return the weather in, e.g. 'celsius' or 'fahrenheit'",
              "enum": ["celsius", "fahrenheit"]
            }
          },
          "required": ["location", "format"]
        }
      }
    }
  ]
}'

响应

{
  "model": "llama3.2",
  "created_at": "2024-07-22T20:33:28.123648Z",
  "message": {
    "role": "assistant",
    "content": "",
    "tool_calls": [
      {
        "function": {
          "name": "get_current_weather",
          "arguments": {
            "format": "celsius",
            "location": "Paris, FR"
          }
        }
      }
    ]
  },
  "done_reason": "stop",
  "done": true,
  "total_duration": 885095291,
  "load_duration": 3753500,
  "prompt_eval_count": 122,
  "prompt_eval_duration": 328493000,
  "eval_count": 33,
  "eval_duration": 552222000
}

加载模型

如果消息数组为空，模型将被加载到内存中。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": []
}'

响应

{
  "model": "llama3.2",
  "created_at":"2024-09-12T21:17:29.110811Z",
  "message": {
    "role": "assistant",
    "content": ""
  },
  "done_reason": "load",
  "done": true
}

卸载模型

如果消息数组为空且 keep_alive 参数设置为 0，则模型将从内存中卸载。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [],
  "keep_alive": 0
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at":"2024-09-12T21:33:17.547535Z",
  "message": {
    "role": "assistant",
    "content": ""
  },
  "done_reason": "unload",
  "done": true
}

创建模型

POST /api/create

从以下内容创建模型：ollama.cadn.net.cn

另一个模型；
a safetensors 目录；或
一个 GGUF 文件。

如果您正在从 safetensors 目录或 GGUF 文件创建模型，则必须为每个文件创建一个 blob，然后在 files 字段中使用与每个 blob 关联的文件名和 SHA256 摘要。ollama.cadn.net.cn

参数

model: 要创建的模型的名称
from：（可选）用于创建新模型的已有模型的名称
files：（可选）一个字典，键为文件名，值为用于构建模型的二进制大对象（blob）的 SHA256 摘要
adapters：（可选）一个字典，键为文件名，值为 LoRA 适配器对应二进制大对象（blob）的 SHA256 摘要
template：（可选）模型的提示模板
license：（可选）包含模型许可证或许可证列表的字符串或字符串列表
system：（可选）一个包含模型系统提示的字符串
parameters：（可选）模型的参数字典（参数列表请参见 Modelfile）
messages：（可选）用于创建对话的消息对象列表
stream：（可选）若为 false，则响应将作为单个响应对象返回，而非对象流
quantize（可选）：对未量化模型（例如 float16）进行量化

量化类型

类型	推荐
q2_K
q3_K_L
q3_K_M
q3_K_S
q4_0
q4_1
q4_K_M	*
q4_K_S
q5_0
q5_1
q5_K_M
q5_K_S
q6_K
q8_0	*

示例

创建新模型

从现有模型创建新模型。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "mario",
  "from": "llama3.2",
  "system": "You are Mario from Super Mario Bros."
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{"status":"reading model metadata"}
{"status":"creating system layer"}
{"status":"using already created layer sha256:22f7f8ef5f4c791c1b03d7eb414399294764d7cc82c7e94aa81a1feb80a983a2"}
{"status":"using already created layer sha256:8c17c2ebb0ea011be9981cc3922db8ca8fa61e828c5d3f44cb6ae342bf80460b"}
{"status":"using already created layer sha256:7c23fb36d80141c4ab8cdbb61ee4790102ebd2bf7aeff414453177d4f2110e5d"}
{"status":"using already created layer sha256:2e0493f67d0c8c9c68a8aeacdf6a38a2151cb3c4c1d42accf296e19810527988"}
{"status":"using already created layer sha256:2759286baa875dc22de5394b4a925701b1896a7e3f8e53275c36f75a877a82c9"}
{"status":"writing layer sha256:df30045fe90f0d750db82a058109cecd6d4de9c90a3d75b19c09e5f64580bb42"}
{"status":"writing layer sha256:f18a68eb09bf925bb1b669490407c1b1251c5db98dc4d3d81f3088498ea55690"}
{"status":"writing manifest"}
{"status":"success"}

量化一个模型

对未量化的模型进行量化。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "llama3.1:quantized",
  "from": "llama3.1:8b-instruct-fp16",
  "quantize": "q4_K_M"
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{"status":"quantizing F16 model to Q4_K_M"}
{"status":"creating new layer sha256:667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29"}
{"status":"using existing layer sha256:11ce4ee3e170f6adebac9a991c22e22ab3f8530e154ee669954c4bc73061c258"}
{"status":"using existing layer sha256:0ba8f0e314b4264dfd19df045cde9d4c394a52474bf92ed6a3de22a4ca31a177"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"creating new layer sha256:455f34728c9b5dd3376378bfb809ee166c145b0b4c1f1a6feca069055066ef9a"}
{"status":"writing manifest"}
{"status":"success"}

从 GGUF 创建模型

从GGUF文件创建模型。参数files应填写您要使用的GGUF文件的文件名及其SHA256摘要。调用此API前，请先使用/api/blobs/:digest将GGUF文件上传至服务器。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "my-gguf-model",
  "files": {
    "test.gguf": "sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"
  }
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{"status":"parsing GGUF"}
{"status":"using existing layer sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"}
{"status":"writing manifest"}
{"status":"success"}

从 Safetensors 目录创建模型

files 参数应包含一个字典，其中包含 safetensors 模型的文件信息，包括每个文件的文件名及其 SHA256 摘要。在调用此 API 之前，请先使用 /api/blobs/:digest 将各个文件上传至服务器。这些文件将保留在缓存中，直到 Ollama 服务重启为止。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "fred",
  "files": {
    "config.json": "sha256:dd3443e529fb2290423a0c65c2d633e67b419d273f170259e27297219828e389",
    "generation_config.json": "sha256:88effbb63300dbbc7390143fbbdd9d9fa50587b37e8bfd16c8c90d4970a74a36",
    "special_tokens_map.json": "sha256:b7455f0e8f00539108837bfa586c4fbf424e31f8717819a6798be74bef813d05",
    "tokenizer.json": "sha256:bbc1904d35169c542dffbe1f7589a5994ec7426d9e5b609d07bab876f32e97ab",
    "tokenizer_config.json": "sha256:24e8a6dc2547164b7002e3125f10b415105644fcf02bf9ad8b674c87b1eaaed6",
    "model.safetensors": "sha256:1ff795ff6a07e6a68085d206fb84417da2f083f68391c2843cd2b8ac6df8538f"
  }
}'

响应

返回一个 JSON 对象流：ollama.cadn.net.cn

{"status":"converting model"}
{"status":"creating new layer sha256:05ca5b813af4a53d2c2922933936e398958855c44ee534858fcfd830940618b6"}
{"status":"using autodetected template llama3-instruct"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"writing manifest"}
{"status":"success"}

检查 Blob 是否存在

HEAD /api/blobs/:digest

确保用于创建模型的文件 blob（二进制大对象）存在于服务器上。此操作检查您的 Ollama 服务器，而非 ollama.com。ollama.cadn.net.cn

查询参数

digest: blob的SHA256摘要

示例

请求

curl -I http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2

响应

如果 Blob 存在，则返回 200 OK；如果不存在，则返回 404 Not Found。ollama.cadn.net.cn

推送 Blob

POST /api/blobs/:digest

将文件推送到 Ollama 服务器以创建一个“blob”（二进制大对象）。ollama.cadn.net.cn

查询参数

digest：文件的预期 SHA256 摘要值

示例

请求

curl -T model.gguf -X POST http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2

响应

如果Blob成功创建，则返回201 Created；如果使用的摘要不符合预期，则返回400 Bad Request。ollama.cadn.net.cn

列出本地模型

GET /api/tags

列出本地可用的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/tags

响应

将返回一个单独的 JSON 对象。ollama.cadn.net.cn

{
  "models": [
    {
      "name": "codellama:13b",
      "modified_at": "2023-11-04T14:56:49.277302595-07:00",
      "size": 7365960935,
      "digest": "9f438cb9cd581fc025612d27f7c1a6669ff83a8bb0ed86c94fcf4c5440555697",
      "details": {
        "format": "gguf",
        "family": "llama",
        "families": null,
        "parameter_size": "13B",
        "quantization_level": "Q4_0"
      }
    },
    {
      "name": "llama3:latest",
      "modified_at": "2023-12-07T09:32:18.757212583-08:00",
      "size": 3825819519,
      "digest": "fe938a131f40e6f6d40083c9f0f430a515233eb2edaa6d72eb85c50d64f2300e",
      "details": {
        "format": "gguf",
        "family": "llama",
        "families": null,
        "parameter_size": "7B",
        "quantization_level": "Q4_0"
      }
    }
  ]
}

显示模型信息

POST /api/show

显示有关模型的信息，包括详细信息、模型文件、模板、参数和许可证，以及系统提示。ollama.cadn.net.cn

参数

model: 要显示的模型名称
verbose：（可选）如果设置为 true，则返回完整数据以提供详细响应字段

示例

请求

curl http://localhost:11434/api/show -d '{
  "model": "llama3.2"
}'

响应

{
  "modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this one, replace the FROM line with:\n# FROM llava:latest\n\nFROM /Users/matt/.ollama/models/blobs/sha256:200765e1283640ffbd013184bf496e261032fa75b99498a9613be4e94d63ad52\nTEMPLATE \"\"\"{{ .System }}\nUSER: {{ .Prompt }}\nASSISTANT: \"\"\"\nPARAMETER num_ctx 4096\nPARAMETER stop \"\u003c/s\u003e\"\nPARAMETER stop \"USER:\"\nPARAMETER stop \"ASSISTANT:\"",
  "parameters": "num_keep                       24\nstop                           \"<|start_header_id|>\"\nstop                           \"<|end_header_id|>\"\nstop                           \"<|eot_id|>\"",
  "template": "{{ if .System }}<|start_header_id|>system<|end_header_id|>\n\n{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>\n\n{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>\n\n{{ .Response }}<|eot_id|>",
  "details": {
    "parent_model": "",
    "format": "gguf",
    "family": "llama",
    "families": [
      "llama"
    ],
    "parameter_size": "8.0B",
    "quantization_level": "Q4_0"
  },
  "model_info": {
    "general.architecture": "llama",
    "general.file_type": 2,
    "general.parameter_count": 8030261248,
    "general.quantization_version": 2,
    "llama.attention.head_count": 32,
    "llama.attention.head_count_kv": 8,
    "llama.attention.layer_norm_rms_epsilon": 0.00001,
    "llama.block_count": 32,
    "llama.context_length": 8192,
    "llama.embedding_length": 4096,
    "llama.feed_forward_length": 14336,
    "llama.rope.dimension_count": 128,
    "llama.rope.freq_base": 500000,
    "llama.vocab_size": 128256,
    "tokenizer.ggml.bos_token_id": 128000,
    "tokenizer.ggml.eos_token_id": 128009,
    "tokenizer.ggml.merges": [],            // populates if `verbose=true`
    "tokenizer.ggml.model": "gpt2",
    "tokenizer.ggml.pre": "llama-bpe",
    "tokenizer.ggml.token_type": [],        // populates if `verbose=true`
    "tokenizer.ggml.tokens": []             // populates if `verbose=true`
  }
}

复制模型

POST /api/copy

复制模型。从现有模型创建一个具有新名称的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/copy -d '{
  "source": "llama3.2",
  "destination": "llama3-backup"
}'

响应

如果成功，则返回200 OK；如果源模型不存在，则返回404 Not Found。ollama.cadn.net.cn

删除模型

DELETE /api/delete

删除模型及其数据。ollama.cadn.net.cn

参数

model: 要删除的模型名称

示例

请求

curl -X DELETE http://localhost:11434/api/delete -d '{
  "model": "llama3:13b"
}'

响应

如果成功，则返回 200 OK；如果要删除的模型不存在，则返回 404 Not Found。ollama.cadn.net.cn

拉取模型

POST /api/pull

从 Ollama 库下载模型。已取消的下载可从中断处继续进行，多次调用将共享同一下载进度。ollama.cadn.net.cn

参数

model: 要拉取的模型名称
insecure：（可选）允许连接到库时不安全。仅在开发过程中从您自己的库拉取镜像时使用。
stream：（可选）若为 false，则响应将作为单个响应对象返回，而非对象流

示例

请求

curl http://localhost:11434/api/pull -d '{
  "model": "llama3.2"
}'

响应

如果未指定 stream，或将其设置为 true，将返回 JSON 对象流：ollama.cadn.net.cn

第一个对象是清单（manifest）：ollama.cadn.net.cn

{
  "status": "pulling manifest"
}

随后是一系列下载响应。在任意下载完成之前，completed 键可能不会被包含。待下载文件的数量取决于清单中指定的层数。ollama.cadn.net.cn

{
  "status": "downloading digestname",
  "digest": "digestname",
  "total": 2142590208,
  "completed": 241970
}

所有文件下载完成后，最终响应为：ollama.cadn.net.cn

{
    "status": "verifying sha256 digest"
}
{
    "status": "writing manifest"
}
{
    "status": "removing any unused layers"
}
{
    "status": "success"
}

如果 stream 被设置为 false，则响应为单个 JSON 对象：ollama.cadn.net.cn

{
  "status": "success"
}

推送模型

POST /api/push

将模型上传到模型库。需要先注册 ollama.ai 并添加公钥。ollama.cadn.net.cn

参数

model: 要推送的模型名称，格式为 <namespace>/<model>:<tag>
insecure：（可选）允许与库建立不安全的连接。仅在开发过程中向您的库推送内容时使用。
stream：（可选）若为 false，则响应将作为单个响应对象返回，而非对象流

示例

请求

curl http://localhost:11434/api/push -d '{
  "model": "mattw/pygmalion:latest"
}'

响应

如果未指定 stream，或将其设置为 true，将返回 JSON 对象流：ollama.cadn.net.cn

{ "status": "retrieving manifest" }

and then:ollama.cadn.net.cn

{
  "status": "starting upload",
  "digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
  "total": 1928429856
}

然后是一系列上传响应：ollama.cadn.net.cn

{
  "status": "starting upload",
  "digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
  "total": 1928429856
}

最后，当上传完成时：ollama.cadn.net.cn

{"status":"pushing manifest"}
{"status":"success"}

如果将 stream 设置为 false，则响应为单个 JSON 对象：ollama.cadn.net.cn

{ "status": "success" }

生成嵌入向量

POST /api/embed

从模型生成嵌入向量ollama.cadn.net.cn

参数

model: 用于生成嵌入向量的模型名称
input: 要为其生成嵌入的文本或文本列表

高级参数：ollama.cadn.net.cn

truncate：将每个输入的末尾截断以适应上下文长度。如果为 false 且超出上下文长度，则返回错误。默认值为 true
options：文档中为 Modelfile 列出的其他模型参数，例如 temperature
keep_alive：控制模型在请求完成后保留在内存中的时长（默认值：5m）

示例

请求

curl http://localhost:11434/api/embed -d '{
  "model": "all-minilm",
  "input": "Why is the sky blue?"
}'

响应

{
  "model": "all-minilm",
  "embeddings": [[
    0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
    0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
  ]],
  "total_duration": 14143917,
  "load_duration": 1019500,
  "prompt_eval_count": 8
}

请求（多个输入）

curl http://localhost:11434/api/embed -d '{
  "model": "all-minilm",
  "input": ["Why is the sky blue?", "Why is the grass green?"]
}'

响应

{
  "model": "all-minilm",
  "embeddings": [[
    0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
    0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
  ],[
    -0.0098027075, 0.06042469, 0.025257962, -0.006364387, 0.07272725,
    0.017194884, 0.09032035, -0.051705178, 0.09951512, 0.09072481
  ]]
}

列出正在运行的模型

GET /api/ps

列出当前已加载到内存中的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/ps

响应

将返回一个单独的 JSON 对象。ollama.cadn.net.cn

{
  "models": [
    {
      "name": "mistral:latest",
      "model": "mistral:latest",
      "size": 5137025024,
      "digest": "2ae6f6dd7a3dd734790bbbf58b8909a606e0e7e97e94b7604e0aa7ae4490e6d8",
      "details": {
        "parent_model": "",
        "format": "gguf",
        "family": "llama",
        "families": [
          "llama"
        ],
        "parameter_size": "7.2B",
        "quantization_level": "Q4_0"
      },
      "expires_at": "2024-06-04T14:38:31.83753-07:00",
      "size_vram": 5137025024
    }
  ]
}

生成嵌入向量

注意：此接口已被 /api/embed 取代ollama.cadn.net.cn

POST /api/embeddings

从模型生成嵌入向量ollama.cadn.net.cn

参数

model: 用于生成嵌入向量的模型名称
prompt: 需要生成嵌入向量的文本

高级参数：ollama.cadn.net.cn

options：文档中为 Modelfile 列出的其他模型参数，例如 temperature
keep_alive：控制模型在请求完成后保留在内存中的时长（默认值：5m）

示例

请求

curl http://localhost:11434/api/embeddings -d '{
  "model": "all-minilm",
  "prompt": "Here is an article about llamas..."
}'

响应

{
  "embedding": [
    0.5670403838157654, 0.009260174818336964, 0.23178744316101074, -0.2916173040866852, -0.8924556970596313,
    0.8785552978515625, -0.34576427936553955, 0.5742510557174683, -0.04222835972905159, -0.137906014919281
  ]
}

版本

GET /api/version

获取 Ollama 版本ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/version

响应

{
  "version": "0.5.1"
}