在最近的更新中，OpenAI推出了Fine-tune（微调）功能，允许我们基于自己的数据对GPT-3.5 Turbo进行微调训练。微调训练是一个强大的工具，可以使GPT模型适应特定领域或任务。本文将为你介绍如何使用OpenAI官方文档中的步骤来进行基于gpt-3.5-turbo的微调训练。
准备数据
在进行微调训练之前，首先需要准备好你的数据。数据的格式应该如下所示：
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}
数据中包含了对话消息，每个消息都有一个"role"表示角色（可以是system、user或assistant），以及"content"表示消息内容。
格式化并验证数据
在载入数据之后，我们需要对数据进行格式化和验证，确保其符合Chat completions消息的结构。下面是一个Python脚本示例，用于格式化和验证数据：
import json
from collections import defaultdict
# Next, we specify the data path and open the JSONL file
data_path = "<YOUR_JSON_FILE_HERE>"
# Load dataset
with open(data_path) as f:
dataset = [json.loads(line) for line in f]
# We can inspect the data quickly by checking the number of examples and the first item
# Initial dataset stats
print("Num examples:", len(dataset))
print("First example:")
for message in dataset[0]["messages"]:
print(message)
# 省略了数据格式化和验证的代码，这部分代码用于确保数据的正确性和合法性
if format_errors:
print("Found errors:")
for k, v in format_errors.items():
print(f"{k}: {v}")
else:
print("No errors found")
以上代码会帮助你检查数据是否符合要求，并输出任何格式错误。
数据长度检查
在进行微调训练之前，还需要检查数据的长度是否超过了4096个token的限制。下面是一个示例代码，用于计算数据中各个对话的token数量并进行检查：
import tiktoken
import numpy as np
# Token counting functions
encoding = tiktoken.get_encoding("cl100k_base")
# ...
# Last, we can look at the results of the different formatting operations before proceeding with creating a fine-tuning job:
# Warnings and tokens counts
n_missing_system = 0
n_missing_user = 0
n_messages = []
convo_lens = []
assistant_message_lens = []
for ex in dataset:
messages = ex["messages"]
if not any(message["role"] == "system" for message in messages):
n_missing_system += 1
if not any(message["role"] == "user" for message in messages):
n_missing_user += 1
n_messages.append(len(messages))
convo_lens.append(num_tokens_from_messages(messages))
assistant_message_lens.append(num_assistant_tokens_from_messages(messages))
print("Num examples missing system message:", n_missing_system)
print("Num examples missing user message:", n_missing_user)
print_distribution(n_messages, "num_messages_per_example")
print_distribution(convo_lens, "num_total_tokens_per_example")
print_distribution(assistant_message_lens, "num_assistant_tokens_per_example")
n_too_long = sum(l > 4096 for l in convo_lens)
print(f"\n{n_too_long} examples may be over the 4096 token limit, they will be truncated during fine-tuning")
以上代码将帮助你确保数据的长度不会超过4096个token的限制，否则需要在微调训练中进行截断处理。
上传数据文件
在验证数据后，你需要将数据文件上传到OpenAI平台，以便进行微调训练。可以使用OpenAI SDK的以下代码来上传文件：
openai.File.create(
file=open("mydata.jsonl", "rb"),
purpose='fine-tune'
)
创建微调作业
接下来，你可以使用OpenAI SDK来创建微调作业。以下是示例代码：
openai.FineTuningJob.create(training_file="file-abc123", model="gpt-3.5-turbo")
使用微调模型
微调完成后，你可以使用微调后的模型来进行对话生成。以下是一个示例代码：
completion = openai.ChatCompletion.create(
model="ft:gpt-3.5-turbo:my-org:custom_suffix:id",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
]
)
print(completion.choices[0].message)
通过上述代码，你可以与微调后的模型进行互动，并生成自定义的对话内容。
微调模型的价格
微调模型的成本包括初始训练成本和使用成本：
- 培训：0.008美元/1K tokens
- 使用输入：0.012美元/1K tokens
- 使用输出：0.016美元/1K tokens
根据你的微调作业的规模和使用量，你可以估算微调模型的成本。请参考OpenAI的定价页面来了解更多细节。
通过本文的教程，你可以开始使用OpenAI GPT-3.5 Turbo进行微调训练，以适应你的特定需求和任务。祝你成功！