Category: AI 实践

在人工智能和大数据的时代，将先进的搜索技术与强大的嵌入式模型相结合，已成为开发高效智能应用的关键。本教程将向您展示如何使用Azure Cognitive Search作为OpenAI嵌入技术的向量数据库，帮助您在云中构建一个丰富的搜索体验。

开始之前：必要条件和准备工作

环境准备

在开始实践之前，确保您已经具备以下条件：

1. Azure Cognitive Search服务：注册并配置您的Azure Cognitive Search服务。
2. OpenAI密钥或Azure OpenAI凭据：获取并配置您的OpenAI API密钥。
3. 安装必要的库：通过pip安装如wget和azure-search-documents等必要的Python库。

导入所需库

import openai
import json
import wget
import pandas as pd
import zipfile
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient
from azure.search.documents.indexes import SearchIndexClient
from azure.search.documents.models import Vector
from azure.search.documents import SearchIndexingBufferedSender
from azure.search.documents.indexes.models import (
    SearchIndex, 
    SearchField, 
    SearchFieldDataType,
    SimpleField, 
    SearchableField, 
    SemanticConfiguration, 
    PrioritizedFields, 
    SemanticField, 
    VectorSearch, 
    HnswVectorSearchAlgorithmConfiguration
)

配置OpenAI和Azure Cognitive Search

设置OpenAI

openai.api_type = "azure"
openai.api_base = "YOUR_AZURE_OPENAI_ENDPOINT"
openai.api_version = "2023-05-15"
openai.api_key = "YOUR_AZURE_OPENAI_KEY"
model: str = "text-embedding-ada-002"

设置Azure Cognitive Search

search_service_endpoint: str = "YOUR_AZURE_SEARCH_ENDPOINT"
search_service_api_key: str = "YOUR_AZURE_SEARCH_ADMIN_KEY"
index_name: str = "azure-cognitive-search-vector-demo"
credential = AzureKeyCredential(search_service_api_key)

加载和准备数据

下载数据

使用wget下载并解压包含嵌入向量的Wikipedia文章数据。

embeddings_url = "https://cdn.openai.com/API/examples/data/vector_database_wikipedia_articles_embedded.zip"
wget.download(embeddings_url)
with zipfile.ZipFile("vector_database_wikipedia_articles_embedded.zip", "r") as zip_ref:
    zip_ref.extractall("../../data")

数据预处理

将下载的数据加载到Pandas DataFrame中，并准备用于上传到Azure Search。

article_df = pd.read_csv('../../data/vector_database_wikipedia_articles_embedded.csv')
article_df["title_vector"] = article_df.title_vector.apply(json.loads)
article_df["content_vector"] = article_df.content_vector.apply(json.loads)
article_df['vector_id'] = article_df['vector_id'].apply(str)

创建和配置搜索索引

定义索引结构

在Azure Search中创建一个新索引，定义包括文本字段和向量字段。

index_client = SearchIndexClient(
    endpoint=search_service_endpoint, credential=credential)

fields = [
    SimpleField(name="id", type=SearchFieldDataType.String),
    # ... 其他字段定义
]

index = SearchIndex(name=index_name, fields=fields, vector_search=vector_search)
result = index_client.create_or_update_index(index)
print(f'{result.name} created')

上传文档和嵌入向量

将数据上传至Azure Search

使用SearchIndexingBufferedSender将文档和嵌入向量上传至Azure Search。

documents = article_df.to_dict(orient='records')

with SearchIndexingBufferedSender(search_service_endpoint, index_name, credential) as batch_client:
    batch_client.upload_documents(documents=documents)

print(f"Uploaded {len(documents)} documents in total")

实现向量相似度搜索

搜索函数

定义一个函数，根据用户的查询生成嵌入，并在Azure Search中执行向量搜索。

def generate_embeddings(text):
    response = openai.Embedding.create(input=text, engine=model)
    return response['data'][0]['embedding']

query = "modern art in Europe"
search_client = SearchClient(search_service_endpoint, index_name, credential)
vector = Vector(value=generate_embeddings(query), k=3, fields="content_vector")

results = search_client.search(search_text=None, vectors=[vector])
for result in results:
    print(f"Title: {result['title']}\nURL: {result['url']}")

结语

通过本教程的学习，您已经掌握了如何使用Azure Cognitive Search结合OpenAI嵌入技术构建高效的向量数据库。这种方法不仅有利于提升搜索质量，还能为您的应用带来更加丰富和深入的搜索体验。

在人工智能快速发展的今天，ChatGPT模型已成为智能交互领域的一大亮点。但是，如何将这种模型与外部函数结合，以扩展其能力，对于许多开发者来说仍是一大挑战。本教程将详细介绍如何在Chat Completions API中使用外部函数，从而使GPT模型的功能更加强大和灵活。

调用外部函数的基本概念

首先，让我们了解一下如何在Chat Completions API中指定外部函数，并生成符合这些函数参数规范的参数。

准备工作：安装和导入库

在开始之前，您需要安装一些必要的Python库：

!pip install scipy
!pip install tenacity
!pip install tiktoken
!pip install termcolor 
!pip install openai
!pip install requests

接着，导入这些库并设置GPT模型：

import json
import openai
import requests
from tenacity import retry, wait_random_exponential, stop_after_attempt
from termcolor import colored

GPT_MODEL = "gpt-3.5-turbo-0613"

实现Chat Completions API的调用

定义一个函数来发起Chat Completions API的请求：

@retry(wait=wait_random_exponential(multiplier=1, max=40), stop=stop_after_attempt(3))
def chat_completion_request(messages, tools=None, tool_choice=None, model=GPT_MODEL):
    headers = {
        "Content-Type": "application/json",
        "Authorization": "Bearer " + openai.api_key,
    }
    json_data = {"model": model, "messages": messages}
    if tools is not None:
        json_data.update({"tools": tools})
    if tool_choice is not None:
        json_data.update({"tool_choice": tool_choice})
    # ...（省略了异常处理和响应代码）
    return response

如何生成函数参数

定义函数规范

定义一个或多个函数规范，例如查询当前天气的函数规范：

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "获取当前天气信息",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "城市和州，例如：旧金山, CA",
                    },
                    "format": {
                        "type": "string",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "温度单位",
                    },
                },
                "required": ["location", "format"],
            },
        }
    },
    # ...（可能还有其他函数规范）
]

使用模型生成参数

向模型提出请求时，模型会根据函数规范生成相应的参数。例如：

messages = [{"role": "user", "content": "今天的天气如何"}]
chat_response = chat_completion_request(messages, tools=tools)
# ...（处理响应和输出）

如何使用模型生成的参数调用函数

实现函数调用

定义函数以执行模型生成的参数：

def get_current_weather(location, format):
    # ...（实现获取天气的逻辑）
    return weather_info

在收到模型生成的参数后，使用这些参数调用相应的函数。

结语：开拓智能交互的新境界

通过将ChatGPT模型与外部函数相结合，我们不仅可以扩展模型的能力，还可以为用户提供更加丰富和个性化的交互体验。无论是开发新的应用，还是优化现有系统，这种方法都将为我们打开一个全新的智能交互世界。

在当今信息爆炸的时代，学术界的论文写作已经成为了一个不可忽视的重要技能。然而，随着知识的不断积累和学科的日新月异，如何高效地撰写一篇具有学术水准的论文变得越来越具有挑战性。幸运的是，随着人工智能技术的飞速发展，我们现在有了更多的工具和资源来帮助我们在论文写作中取得成功。在本教程中，我们将介绍如何使用AutoGen，一个多代理对话框架，来创建一个高效的论文写作助手，以帮助您在学术领域更上一层楼。

步骤 1：安装AutoGen

首先，让我们来了解一下AutoGen是什么。AutoGen是一个多代理对话框架，它允许开发者构建基于大型语言模型（LLM）的应用。在我们的论文写作助手中，我们将利用AutoGen的强大功能来与一个虚拟助手进行对话，以获取论文写作的建议和内容。为了开始使用AutoGen，您需要按照以下步骤来安装它：

pip install pyautogen

这将安装AutoGen所需的Python库，使您可以开始创建自己的论文写作助手。

步骤 2：创建论文写作助手

现在，让我们开始创建我们的论文写作助手。我们将创建一个助手代理（AssistantAgent），这个代理将充当我们的虚拟助手，能够接收用户的输入，并提供相关的写作建议或内容。此外，我们还将加入一个用户代理（UserProxyAgent），用户代理将模拟用户与助手的互动，以引导助手提供有关论文写作的信息。

from autogen import AssistantAgent, UserProxyAgent, config_list_from_json

# 初始化LLM配置
config_list = config_list_from_json(env_or_file="OAI_CONFIG_LIST")

# 创建助手代理
assistant = AssistantAgent("assistant", llm_config={"config_list": config_list})

# 创建用户代理
user_proxy = UserProxyAgent("user_proxy")

# 用户代理开始与助手代理的对话
user_proxy.initiate_chat(assistant, message="我需要帮助写一篇关于机器学习在医学影像分析中应用的论文。")

步骤 3：论文写作过程

现在我们已经创建了助手代理和用户代理，让我们开始进行论文写作。用户代理将与助手代理进行对话，以获取论文写作的具体建议和内容。助手代理可以提供论文结构的建议、相关研究的引用，甚至草拟部分章节的内容。

# 继续对话以深入论文的具体部分
user_proxy.send_message(assistant, "请帮我概述机器学习在医学影像中的应用及其优势。")
user_proxy.send_message(assistant, "我还需要一些最新研究的引用。")

步骤 4：收集和整理论文内容

助手代理返回的内容可以被收集和整理，形成论文的草稿。用户可以进一步编辑和完善这些内容，以符合具体的论文要求和个人风格。这个过程将帮助您快速生成有关机器学习在医学影像分析中的论文内容，节省了大量的时间和精力。

在您完成论文的初稿后，不要忘记进行细致的校对和修订，以确保论文的质量和准确性。

总结

使用AutoGen来辅助论文写作是一个高效的方法，它可以帮助用户快速获取有关特定主题的信息，提出结构建议，甚至生成初步的内容草稿。这不仅节省了大量的时间和精力，而且还可以提高论文质量，使您在学术领域更加出色。请注意，这个示例主要展示了AutoGen在论文写作过程中的潜在应用，实际的使用可能需要根据具体的需求和AutoGen的最新功能进行调整。

现在，您已经掌握了如何利用AutoGen创建一个高效的论文写作助手，希望这个教程对您在学术写作中的成功有所帮助。