Tag: 硬件

你是否曾经想知道一个文本字符串包含多少个标记？标记在GPT模型中是很重要的，因为它们决定了文本的长度和模型处理的成本。本教程将向你介绍如何使用OpenAI的开源工具tiktoken来轻松计算文本中的标记数。

引子

在开始之前，让我们来谈谈为什么需要计算标记数。标记是文本的最小单位，可以是一个字符，也可以是一个单词。GPT模型处理文本时以标记为基本单位，因此知道一个文本字符串包含多少标记对于以下两个方面非常重要：

1. 文本长度限制：有时，你可能需要将文本输入到一个模型中，但模型对文本长度有限制。如果你的文本超过了模型的最大标记数限制，你需要截断或缩短它，以确保模型可以正确处理。

2. 计算成本：使用OpenAI的API调用GPT模型是需要付费的，而费用是按照标记数计算的。因此，了解文本中有多少标记可以帮助你估算API调用的成本。

使用不同的编码

在使用tiktoken之前，你需要了解文本是如何被转换成标记的。不同的模型使用不同的编码方式。tiktoken支持三种OpenAI模型使用的编码：

• cl100k_base：用于gpt-4、gpt-3.5-turbo、text-embedding-ada-002等模型。
• p50k_base：用于Codex模型、text-davinci-002、text-davinci-003等模型。
• r50k_base（或称为gpt2）：用于GPT-3模型，如davinci。

你可以使用以下方式获取特定模型的编码：

import tiktoken

# 获取gpt-3.5-turbo模型的编码
encoding = tiktoken.encoding_for_model('gpt-3.5-turbo')

请注意，p50k_base与r50k_base在非代码应用中有很大的重叠，在这种情况下，它们通常会产生相同的标记。

使用tiktoken计算标记数

现在，让我们看看如何使用tiktoken计算文本中的标记数。首先，你需要安装tiktoken库：

pip install --upgrade tiktoken

安装完成后，你可以按照以下方式计算标记数：

import tiktoken

def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """返回文本字符串中的标记数。"""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens

# 示例：计算标记数
text = "tiktoken is great!"
encoding_name = "cl100k_base"
num_tokens = num_tokens_from_string(text, encoding_name)
print(f"文本中的标记数：{num_tokens}")

上述代码将输出文本中的标记数。在这个示例中，文本 “tiktoken is great!” 有6个标记。

将标记转换为文本

如果你想将标记转换回文本，你可以使用以下方法：

import tiktoken

def tokens_to_text(tokens, encoding_name: str) -> str:
    """将标记列表转换为文本字符串。"""
    encoding = tiktoken.get_encoding(encoding_name)
    text = encoding.decode(tokens)
    return text

# 示例：将标记转换为文本
tokens = [83, 1609, 5963, 374, 2294, 0]
encoding_name = "cl100k_base"
text = tokens_to_text(tokens, encoding_name)
print(f"标记转换为文本：{text}")

在上面的示例中，标记列表 [83, 1609, 5963, 374, 2294, 0] 被转换回了文本 “tiktoken is great!”。

比较不同的编码

不同的编码方式可能在如何分割单词、处理空格以及处理非英文字符方面有所不同。使用上述方法，我们可以比较不同编码在几个示例文本上的表现：

import tiktoken

def compare_encodings(example_string: str) -> None:
    """比较三种字符串编码的表现。"""
    # 打印示例字符串
    print(f'\n示例字符串: "{example_string}"')
    # 对于每种编码，打印标记数、标记整数和标记字节
    for encoding_name in ["r50k_base", "p50k_base", "cl100k_base"]:
        encoding = tiktoken.get_encoding(encoding_name)
        token_integers = encoding.encode(example_string)
        num_tokens = len(token_integers)
        token_bytes = [encoding.decode_single_token_bytes(token) for token in token_integers]
        print()
        print(f"{encoding_name}: {num_tokens} 个标记")
        print(f"标记整数: {token_integers}")
        print(f"标记字节: {token_bytes}")

# 示例：比较编码
compare_encodings("antidisestablishmentarianism")
compare_encodings("2 + 2 = 4")
compare_encodings("お誕生日おめでとう")

通过上述代码，你可以比较不同编码在示例文本上的表现。这将有助于你选择最适合你的应用程序的编码方式。

在聊天完成API调用中计算标记数

对于ChatGPT模型，如gpt-3.5-turbo和gpt-4，它们使用的标记方式与旧的完成模型相同，但由于它们的消息格式，更难计算会话中将使用多少标记。

以下是一个用于计算传递给gpt-3.5-turbo或gpt-

4的消息中标记数的示例Python代码：

import tiktoken

def num_tokens_in_chat(messages: list, encoding_name: str) -> int:
    """计算聊天消息中的标记数。"""
    encoding = tiktoken.get_encoding(encoding_name)
    total_tokens = 0
    for message in messages:
        role = message["role"]
        content = message["content"]
        if role == "system":
            # 系统消息不包含标记
            continue
        elif role == "user" or role == "assistant":
            # 用户和助手消息包含标记
            tokens = encoding.encode(content)
            total_tokens += len(tokens)
    return total_tokens

# 示例：计算聊天消息中的标记数
chat_messages = [
    {"role": "user", "content": "tell me a joke"},
    {"role": "assistant", "content": "why did the chicken cross the road"},
    {"role": "user", "content": "I don't know, why did the chicken cross the road"},
]
encoding_name = "cl100k_base"
num_tokens = num_tokens_in_chat(chat_messages, encoding_name)
print(f"聊天消息中的标记数：{num_tokens}")

在上面的示例中，我们计算了一个包含用户和助手消息的聊天中的标记数。你可以根据自己的聊天数据和所选的编码来计算标记数。

这就是如何使用tiktoken计算文本中的标记数，无论是用于一般文本处理还是用于聊天API调用，这个工具都可以帮助你更好地管理标记。希望这个教程对你有所帮助！如果你有任何问题或需要进一步的协助，请随时提问。

曾几何时，我们沉浸在科幻小说和电影中，对于人工智能的无限想象中。如今，这些幻想正逐渐变为现实，而ChatGPT则是其中一个令人惊叹的成果。本文将深入探讨ChatGPT的技术内幕，揭示其为何如此强大，以及它是如何利用现有技术的潜力来实现这一壮举的。

一、Transformer框架：变形金刚的崭露头角

ChatGPT采用了Transformer框架，这一框架被誉为“变形金刚”，因为它具备处理空间信息和时序信息的能力。相对于传统的CNN和RNN模型，Transformer可以同时处理空间信息和时序信息，这使得它在自然语言处理任务中表现出色。Transformer的自注意力机制和多头注意力机制更进一步增强了模型捕捉文本中的前后依赖关系，使其在处理长序列信息时领先于传统的RNN模型。

二、预训练和微调：提高泛化能力

ChatGPT的成功离不开预训练技术。它首先使用大量无标签数据对模型进行初步训练，这有助于模型更好地理解和处理自然语言。然后，通过微调技术，在特定任务上进行有监督的训练，进一步提高了模型性能。这种方法不仅节省了训练时间和计算资源，还大幅提高了ChatGPT的泛化能力，使其能够在各种自然语言处理任务中表现出色。

三、跨语言迁移学习：扩展应用场景

ChatGPT还引入了跨语言迁移学习，这一技术使得模型在不同语言之间能够迁移知识。例如，通过在英文模型基础上进行中文语言的预训练，ChatGPT可以在中文自然语言处理任务中表现出色。这一技术扩展了ChatGPT的应用领域，使其能够处理多种语言。

四、分布式机器学习框架Ray：强大的支持

ChatGPT的训练需要大量的计算资源，参数量庞大，因此如何提高并行计算能力成为了研究重点。Ray是一个分布式机器学习框架，它能够将不同硬件作为一个单元来管理，协调训练过程，并解决硬件冲突问题。这使得ChatGPT的训练变得更加高效，可以在不同硬件上运行，包括谷歌云、AWS等。另外，Google的JAX框架也备受关注，被视为与Ray竞争的框架。

五、分布式技术：提升训练速度和效率

在深度学习中，分布式技术发挥了重要作用。以下是一些常见的分布式技术概念：

• 数据并行：将输入数据分成多个小批次，分配到不同GPU内存进行处理，提高训练速度和效率。

• 模型并行：将模型分解成多个子模型，分配到不同GPU芯片上进行处理，提高模型的处理能力。

• 模型平行：将模型分解成多个层，分配到不同GPU芯片上进行处理，帮助模型处理更大的数据集。

• 集群并行：将模型分布式部署在多个计算机上，连接不同计算机与GPU，处理更大规模的数据集。

• 整合：使用以上多种技术的组合，以达到更高的训练速度和处理效率。

六、强化学习中的算法和框架

最后，让我们思考一下不同的算法和框架在强化学习中的应用。强化学习是一门涉及决策和行动的领域，各种算法和框架在此领域都有广泛的应用。例如，TensorFlow、PyTorch等深度学习框架与强化学习库结合使用，用于训练智能体。此外，Ray框架也与强化学习库兼容，为分布式强化学习提供了强大支持。

结语

ChatGPT之所以如此强大，不仅在于其采用了Transformer框架、预训练和微调技术，还在于分布式机器学习框架Ray的支持以及分布式技术的应用。这一组合使得ChatGPT能够在各种自然语言处理任务中表现出色，同时为强化学习等领域提供了有力的工具。

希望本文能够帮助你更好地理解ChatGPT的技术内幕，并对人工智能和深度学习的未来充满期待。