Category: AI 实践

引言：
在这个信息爆炸的时代，快速获取信息并转化成有用的知识变得越来越重要。为了满足这一需求，生成AI模型如ChatGPT的应用逐渐走入人们的视野。然而，如何构建出能够高效输出有用信息的提示，成为了一个关键问题。本文将为您介绍一些提高生成AI模型输出质量的经验法则，并通过实际例子进行演示。

经验法则1：多种表述提示

要让生成AI模型如ChatGPT提供最佳结果，首要的经验法则之一是多种表述提示。我们知道，不同的提示语可以产生不同的结果。让我们以一个实际例子来说明这个法则。

例子1：文章摘要

提示语 1： 用一句话来概括本段内容：
“据福克斯新闻4月2日报道，OpenAI预计将在今年晚些时候推出GPT-5，可能会使生成式人工智能与人类难以区分…”

ChatGPT生成结果 1：
OpenAI计划于今年晚些时候推出GPT-5，据称可能实现通用人工智能，引发了人们对于人工智能与人类区分的讨论。 陈思齐透露，OpenAI希望GPT-5能够实现AGI，即能够像人类一样理解任务和概念。 此前，2000多名科技领袖、大学教授和其他人曾呼吁所有人工智能实验室暂停训练比GPT-4更强大的系统，警告人工智能系统的超越可能对社会和人类带来深远风险。

提示语 2： 总结一下下面的内容：
“据福克斯新闻4月2日报道，OpenAI计划在今年晚些时候推出GPT-5，可能会让生成式人工智能与人类难以区分。陈思齐是一位科技企业家和开发者，他在推特上表示得到消息称GPT-5计划在今年12月完成训练，OpenAI希望它能实现AGI，即人工智能系统能像人类一样理解一项任务或概念。他补充道，这意味着将会讨论它是否真的实现了AGI，有不少人相信它会实现。OpenAI上个月发布了GPT-4系统，它在各种专业和学术基准上表现出与人类相当的表现。此外，埃隆·马斯克、史蒂夫·沃兹尼亚克等2000多名科技领袖、大学教授和其他人签署了公开信，呼吁所有人工智能实验室暂停训练比GPT-4更强大的系统，以避免与人类同等智能或超越人类的人工智能系统对社会和人类构成深远的风险。OpenAI目前没有对此回应。”

ChatGPT生成结果 2：
据福克斯新闻4月2日报道，OpenAI计划在今年晚些时候推出GPT-5，可能会让生成式人工智能与人类难以区分。陈思齐是一位科技企业家和开发者，他在推特上表示得到消息称GPT-5计划在今年12月完成训练，OpenAI希望它能实现AGI，即人工智能系统能像人类一样理解一项任务或概念。他补充道，这意味着将会讨论它是否真的实现了AGI，有不少人相信它会实现。OpenAI上个月发布了GPT-4系统，它在各种专业和学术基准上表现出与人类相当的表现。此外，埃隆·马斯克、史蒂夫·沃兹尼亚克等2000多名科技领袖、大学教授和其他人签署了公开信，呼吁所有人工智能实验室暂停训练比GPT-4更强大的系统，以避免与人类同等智能或超越人类的人工智能系统对社会和人类构成深远的风险。OpenAI目前没有对此回应。

提示语 3： 我们不妨再换一种说法
“据福克斯新闻报道，一位科技行业内部人士和专家称，OpenAI计划在今年晚些时候推出GPT-5，并希望实现AGI，这可能使生成式人工智能与人类难以区分。此前，2000多名科技领袖和大学教授曾呼吁暂停训练更强大的人工智能系统，以避免可能对社会和人类构成的深远风险。”

ChatGPT生成结果 3：
据福克斯新闻报道，一位科技行业内部人士和专家称，OpenAI计划在今年晚些时

候推出GPT-5，并希望实现AGI，这可能使生成式人工智能与人类难以区分。此前，2000多名科技领袖和大学教授曾呼吁暂停训练更强大的人工智能系统，以避免可能对社会和人类构成的深远风险。

通过上面的例子，我们可以清晰地看到，不同的提示语导致了不同的生成结果。这告诉我们，多种表述提示是一个有效的经验法则，可以提高生成AI模型输出的多样性和准确性。

经验法则2：清晰简短的提示

另一个关键的经验法则是使用清晰简短的提示，避免不必要的词语。在提示中，应该尽量减少使用程度词等修饰词汇，以保持提示的简洁和明了。下面是一个示例来说明这一法则。

例子2：代码生成

越来越多人希望通过ChatGPT编写代码。如果你有一个希望通过代码编程解决的问题，你可以通过提示指定相关的编程语言和任务。

提示语： 自动生成一个快速排序的Python代码。

ChatGPT生成结果：

def quicksort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quicksort(left) + middle + quicksort(right)

# Test case
arr = [3, 6, 8, 10, 1, 2, 1]
print(quicksort(arr))

这个示例中，提示语非常清晰和简洁，直接指示ChatGPT生成一个快速排序的Python代码。结果也是相应地清晰明了。

经验法则3：减少不精确的描述

最后一个经验法则是减少不精确的描述。在提示中，应该避免使用不确定的词语，而是使用更加具体和明确的表达方式。下面的示例再次演示了这一法则。

例子3：文章摘要

提示语： 用简单的语句总结一下内容，最好是能几句之内。

ChatGPT生成结果：
“据福克斯新闻报道，一位科技行业内部人士和专家称，OpenAI计划在今年晚些时候推出GPT-5，并希望实现AGI，这可能使生成式人工智能与人类难以区分。此前，2000多名科技领袖和大学教授曾呼吁暂停训练更强大的人工智能系统，以避免可能对社会和人类构成的深远风险。”

通过使用简单的语句总结内容，这个提示更加具体和明确，避免了不精确的描述。

结论

在构建提示时，我们可以遵循以上三个经验法则来提高生成AI模型输出的质量。尝试多种表述提示，使用清晰简短的提示，以及减少不精确的描述，都是有效的方法。当然，这只是提示工程领域的一部分，更多的技巧和经验需要通过实践和不断的尝试来积累。

在一个寒冷的夜晚，我坐在书桌前，面对屏幕，不断地试图和我的新助理——ChatGPT进行交流。每当我认为我掌握了和它聊天的技巧，结果往往让我失望。这就好像我突然进入了鲁迅笔下的小杂货铺，和店主尝试用我不太熟悉的方言进行交流，每当我想表达一个简单的需求，店主总是给我一个我不太需要的答案。

这种沟通上的不畅让我感到困惑。但随着时间的推移，我逐渐发现，只要掌握了一些与ChatGPT沟通的经验法则，这种沟通就会变得轻松得多。今天，我就要分享这些经验给你。

为何要和ChatGPT沟通？

我们都知道，ChatGPT是OpenAI开发的强大的聊天机器人。但对于大多数人来说，它仍然是一个神秘的存在。你可能会问，为什么我要和它交流？答案很简单：ChatGPT可以帮助你完成很多工作，从答疑解惑到写作文章，只要你知道怎么与它沟通。

如何更好地与ChatGPT沟通？

在“基础用法”中，我们提到了三个基本的经验法则：

• 尝试提示的多种表述以获得最佳结果。
• 使用清晰简短的提示，避免不必要的词语。
• 减少不精确的描述。

这只是冰山一角。现在，我将为你提供更多的经验法则。

1. 一个话题对应一个chat：ChatGPT是一个聊天机器人，如果同一对话中出现不同的主题，会影响到结果。因此，为每一个新的话题打开一个新的聊天窗口。

2. 提供完整例子：给ChatGPT提供你所需输出的完整例子，让它知道你的期望。

3. 减少否定词汇的使用：例如，将 “不需要多句话回复” 替换为 “生成一句话的回复”。

4. 主动要求ChatGPT精简输出：简单明了的回答，避免过长的信息。

5. 生成结果里可能有错误：记住ChatGPT可能会给出看似正确但实际错误的答案。

6. 将指令放在提示的开头：使用##或””来分隔指令和语境。

7. 使用“引导词”：例如，在代码中添加“import”来引导Python编写。

以上就是与ChatGPT交流的几个经验法则。希望你在未来的交流中能够更加得心应手，像和一个朋友聊天一样。

结尾

人与机器的交流，一直都是一个神秘的话题。但只要我们掌握了正确的方法，这一切都会变得简单。ChatGPT只是一个工具，我们要做的，就是学会如何更好地使用它。就像鲁迅笔下的小杂货铺，只要我们学会了如何与店主交流，我们就可以从中得到我们想要的东西。这一切，都取决于我们。

你是否曾经想知道一个文本字符串包含多少个标记？标记在GPT模型中是很重要的，因为它们决定了文本的长度和模型处理的成本。本教程将向你介绍如何使用OpenAI的开源工具tiktoken来轻松计算文本中的标记数。

引子

在开始之前，让我们来谈谈为什么需要计算标记数。标记是文本的最小单位，可以是一个字符，也可以是一个单词。GPT模型处理文本时以标记为基本单位，因此知道一个文本字符串包含多少标记对于以下两个方面非常重要：

1. 文本长度限制：有时，你可能需要将文本输入到一个模型中，但模型对文本长度有限制。如果你的文本超过了模型的最大标记数限制，你需要截断或缩短它，以确保模型可以正确处理。

2. 计算成本：使用OpenAI的API调用GPT模型是需要付费的，而费用是按照标记数计算的。因此，了解文本中有多少标记可以帮助你估算API调用的成本。

使用不同的编码

在使用tiktoken之前，你需要了解文本是如何被转换成标记的。不同的模型使用不同的编码方式。tiktoken支持三种OpenAI模型使用的编码：

• cl100k_base：用于gpt-4、gpt-3.5-turbo、text-embedding-ada-002等模型。
• p50k_base：用于Codex模型、text-davinci-002、text-davinci-003等模型。
• r50k_base（或称为gpt2）：用于GPT-3模型，如davinci。

你可以使用以下方式获取特定模型的编码：

import tiktoken

# 获取gpt-3.5-turbo模型的编码
encoding = tiktoken.encoding_for_model('gpt-3.5-turbo')

请注意，p50k_base与r50k_base在非代码应用中有很大的重叠，在这种情况下，它们通常会产生相同的标记。

使用tiktoken计算标记数

现在，让我们看看如何使用tiktoken计算文本中的标记数。首先，你需要安装tiktoken库：

pip install --upgrade tiktoken

安装完成后，你可以按照以下方式计算标记数：

import tiktoken

def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """返回文本字符串中的标记数。"""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens

# 示例：计算标记数
text = "tiktoken is great!"
encoding_name = "cl100k_base"
num_tokens = num_tokens_from_string(text, encoding_name)
print(f"文本中的标记数：{num_tokens}")

上述代码将输出文本中的标记数。在这个示例中，文本 “tiktoken is great!” 有6个标记。

将标记转换为文本

如果你想将标记转换回文本，你可以使用以下方法：

import tiktoken

def tokens_to_text(tokens, encoding_name: str) -> str:
    """将标记列表转换为文本字符串。"""
    encoding = tiktoken.get_encoding(encoding_name)
    text = encoding.decode(tokens)
    return text

# 示例：将标记转换为文本
tokens = [83, 1609, 5963, 374, 2294, 0]
encoding_name = "cl100k_base"
text = tokens_to_text(tokens, encoding_name)
print(f"标记转换为文本：{text}")

在上面的示例中，标记列表 [83, 1609, 5963, 374, 2294, 0] 被转换回了文本 “tiktoken is great!”。

比较不同的编码

不同的编码方式可能在如何分割单词、处理空格以及处理非英文字符方面有所不同。使用上述方法，我们可以比较不同编码在几个示例文本上的表现：

import tiktoken

def compare_encodings(example_string: str) -> None:
    """比较三种字符串编码的表现。"""
    # 打印示例字符串
    print(f'\n示例字符串: "{example_string}"')
    # 对于每种编码，打印标记数、标记整数和标记字节
    for encoding_name in ["r50k_base", "p50k_base", "cl100k_base"]:
        encoding = tiktoken.get_encoding(encoding_name)
        token_integers = encoding.encode(example_string)
        num_tokens = len(token_integers)
        token_bytes = [encoding.decode_single_token_bytes(token) for token in token_integers]
        print()
        print(f"{encoding_name}: {num_tokens} 个标记")
        print(f"标记整数: {token_integers}")
        print(f"标记字节: {token_bytes}")

# 示例：比较编码
compare_encodings("antidisestablishmentarianism")
compare_encodings("2 + 2 = 4")
compare_encodings("お誕生日おめでとう")

通过上述代码，你可以比较不同编码在示例文本上的表现。这将有助于你选择最适合你的应用程序的编码方式。

在聊天完成API调用中计算标记数

对于ChatGPT模型，如gpt-3.5-turbo和gpt-4，它们使用的标记方式与旧的完成模型相同，但由于它们的消息格式，更难计算会话中将使用多少标记。

以下是一个用于计算传递给gpt-3.5-turbo或gpt-

4的消息中标记数的示例Python代码：

import tiktoken

def num_tokens_in_chat(messages: list, encoding_name: str) -> int:
    """计算聊天消息中的标记数。"""
    encoding = tiktoken.get_encoding(encoding_name)
    total_tokens = 0
    for message in messages:
        role = message["role"]
        content = message["content"]
        if role == "system":
            # 系统消息不包含标记
            continue
        elif role == "user" or role == "assistant":
            # 用户和助手消息包含标记
            tokens = encoding.encode(content)
            total_tokens += len(tokens)
    return total_tokens

# 示例：计算聊天消息中的标记数
chat_messages = [
    {"role": "user", "content": "tell me a joke"},
    {"role": "assistant", "content": "why did the chicken cross the road"},
    {"role": "user", "content": "I don't know, why did the chicken cross the road"},
]
encoding_name = "cl100k_base"
num_tokens = num_tokens_in_chat(chat_messages, encoding_name)
print(f"聊天消息中的标记数：{num_tokens}")

在上面的示例中，我们计算了一个包含用户和助手消息的聊天中的标记数。你可以根据自己的聊天数据和所选的编码来计算标记数。

这就是如何使用tiktoken计算文本中的标记数，无论是用于一般文本处理还是用于聊天API调用，这个工具都可以帮助你更好地管理标记。希望这个教程对你有所帮助！如果你有任何问题或需要进一步的协助，请随时提问。