Code Llama 70B API运行指南

先来看几个核心要点：Meta 最新发布的 Code Llama 70B，拥有 700 亿参数，是目前性能最为突出的开源代码大模型之一。它在 HumanEval 基准测试中取得了 67.8 分，甚至超越了零样本场景下的 GPT-4。这意味着，如果你需要代码生成或编程辅助，这款模型的实用价值相当突出。

还有一个好消息：通过某平台提供的 API，你只需一行代码就能在云端轻松运行它。下面我们分别用 JavaScript、Python 和 cURL 三种方式，演示如何调用 Code Llama 70B。

Code Llama 70B 的变体

Code Llama 70B 共推出三个变体，本文示例均基于 codellama-70b-instruct，但每个变体都可在该平台上直接使用：

• Code Llama 70B Base：基础模型，适用于通用的代码生成任务。
• Code Llama 70B Python：专门针对 Python 代码训练过的版本，处理 Python 任务更加得心应手。
• Code Llama 70B Instruct：针对自然语言指令进行了微调，能更精准地理解你的需求。

使用 JavaScript 运行 Code Llama 70B

通过官方的 JavaScript 客户端来调用，流程非常直接。首先安装依赖：

npm install replicate

然后设置环境变量：

export REPLICATE_API_TOKEN=

接下来导入并配置客户端：

import Replicate from "replicate";
const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

最后调用 API 运行模型——以“如何在 Bash 中列出过去一个月修改过的文本文件”为例：

const output = await replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  {
    input: {
      prompt: "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
    },
  }
);
console.log(output);

使用 Python 运行 Code Llama 70B

Python 客户端的用法类似，先安装依赖包：

pip install replicate

同样设置环境变量：

export REPLICATE_API_TOKEN=

然后直接调用：

import replicate

output = replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  input={
    "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
  }
)
print("".join(output))

使用 cURL 运行 Code Llama 70B

如果你更倾向于直接调用 HTTP API，使用 cURL 即可完成。先设置环境变量：

export REPLICATE_API_TOKEN=

然后发送 POST 请求：

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Prefer: wait" \
  -d '{
    "version": "a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
    "input": {
      "top_k": 10,
      "top_p": 0.95,
      "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
      "max_tokens": 500,
      "temperature": 0.8,
      "system_prompt": "",
      "repeat_penalty": 1.1,
      "presence_penalty": 0,
      "frequency_penalty": 0
    }
  }' https://api.replicate.com/v1/predictions

除了以上三种方式，你还可以通过其他语言（如 Go、Swift）的客户端库来运行 Code Llama 70B，核心原理完全相同。

保持关注

以上就是通过 API 调用 Code Llama 70B 的主要方法。这个 700 亿参数的模型确实表现出色，值得上手尝试。