Category: 技术折腾

在数字化时代，人工智能技术正以惊人的速度发展，为我们的生活带来了无数令人兴奋的可能性。其中之一就是SadTalker，它是一种强大的工具，能够实现音频驱动的单图像表情生成。这意味着您可以将一张静态的人像图片，通过添加音频，让它栩栩如生地表情丰富起来，仿佛在说话。

想象一下，您拥有一张自己喜爱的明星照片，但您想要让这张照片“活”起来，让明星像真人一样表情丰富地演说。这就是SadTalker的魔力所在。本教程将向您展示如何使用SadTalker这一强大工具，让您的创意得以充分发挥。

步骤1：安装SadTalker

首先，让我们来安装SadTalker。请按照以下步骤进行：

Linux/Unix

1. 安装 Anaconda，Python 和 git。

2. 克隆SadTalker仓库并进入目录：

   git clone https://github.com/OpenTalker/SadTalker.git
   cd SadTalker

3. 创建并激活conda环境，并安装依赖：

   conda create -n sadtalker python=3.8
   conda activate sadtalker
   pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
   conda install ffmpeg
   pip install -r requirements.txt

Windows

在Windows上安装SadTalker稍微复杂一些，但请按照以下步骤进行：

1. 安装 Python 3.8，并勾选“Add Python to PATH”。

2. 手动或使用 Scoop 安装 git：scoop install git。

3. 安装 ffmpeg，可以参考 这个教程 或使用 scoop：scoop install ffmpeg。

4. 下载SadTalker仓库，运行以下命令：

   git clone https://github.com/OpenTalker/SadTalker.git

5. 下载模型和gfpgan模型，可以参考上面提供的下载链接。

6. 运行start.bat，将启动一个Gradio-powered WebUI演示。

macOS

如果您使用macOS，请参考此教程来安装SadTalker。

安装完成后，SadTalker将准备就绪，您可以继续下一步操作。

步骤2：下载模型

您需要下载一些预训练模型，以便SadTalker能够正常工作。运行以下命令来自动下载所有模型：

bash scripts/download_models.sh

这将自动下载所需的模型文件。

步骤3：音频驱动的单图像表情生成

现在，让我们开始使用SadTalker来实现音频驱动的单图像表情生成。您可以按照以下步骤操作：

在线演示

如果您想快速体验SadTalker，可以使用在线演示。只需访问HuggingFace，您就可以在那里使用SadTalker进行图像生成。

本地WebUI演示

如果您更喜欢本地演示，可以使用Gradio来运行一个本地WebUI演示。只需运行以下命令：

python app_sadtalker.py
``

`

这将启动一个本地Web界面，您可以在其中上传图像和音频，然后观察生成的结果。

### Python脚本

如果您想将SadTalker集成到自己的Python项目中，可以使用以下代码示例：

```python
import torch
from sadt.utils import load_model, pad_seq
from sadt.sadt import SadT

model = load_model('model.pth')
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model.to(device)
model.eval()

# 图像和音频的文件路径
image_path = 'path_to_image.jpg'
audio_path = 'path_to_audio.wav'

# 加载图像和音频
image = load_image(image_path)
audio = load_audio(audio_path)

# 生成表情
with torch.no_grad():
    image = image.to(device)
    audio = pad_seq(audio, 8000).to(device)
    result = model(image, audio.unsqueeze(0))
    result = result.squeeze(0).cpu().numpy()

# 处理生成的表情
# 将result转换为合适的图像格式
# 显示或保存生成的图像

这个示例代码将帮助您在自己的项目中使用SadTalker。

结束语

SadTalker是一个令人惊叹的工具，可以为静态图像注入生动的表情。无论您是想要为自己的创作增添趣味，还是想要在娱乐领域做更多创新，SadTalker都将是您的得力助手。希望这个教程能够帮助您入门，开始探索无限可能性。祝愿您在使用SadTalker时取得巨大成功！

在当今数字化的世界中，图像生成技术正变得越来越重要。不论是在艺术创作、影视特效还是虚拟现实领域，都需要强大的图像生成工具来创造出令人惊叹的视觉效果。而EasyPhoto作为一款强大的图像生成工具，为我们提供了丰富的功能和灵活的使用方式。

在本教程中，我们将介绍如何快速入门EasyPhoto，无论您是想在云端使用还是在本地安装，都能够轻松上手。让我们一起开始这个令人兴奋的探索之旅吧！

云端使用EasyPhoto

从AliyunDSW获取免费GPU时间

AliyunDSW提供了免费的GPU时间，一次用户申请后有效期为3个月。您可以在Aliyun PAI-DSW中使用这些免费GPU时间，只需3分钟即可启动EasyPhoto。

1. 登录AliyunDSW。
2. 在DSW Notebook中使用免费GPU时间。
3. 启动EasyPhoto，开始创造惊人的图像！

使用AutoDL

如果您正在使用AutoDL，您可以通过提供的镜像快速启动稳定的Diffusion WebUI。

1. 在Community Mirrors中填写相关信息。
2. 选择aigc-apps/sd-webui-EasyPhoto/sd-webui-EasyPhoto镜像。
3. 快速启动EasyPhoto，开始图像生成之旅！

使用Docker

如果您使用Docker，请确保正确安装了图形卡驱动程序和CUDA环境。然后按照以下步骤执行：

# 拉取镜像
docker pull mybigpai-registry.cn-beijing.cr.aliyuncs.com/aigc/sd-webui-easyphoto:0.0.3

# 进入镜像
docker run -it -p 7860:7860 --network host --gpus all mybigpai-registry.cn-beijing.cr.aliyuncs.com/aigc/sd-webui-easyphoto:0.0.3

# 启动WebUI
python3 launch.py --port 7860

请注意，Docker的更新速度可能略慢于GitHub仓库的sd-webui-EasyPhoto，因此您可以先进入extensions/sd-webui-EasyPhoto并执行git pull以获取最新版本。

本地安装EasyPhoto

环境检查

在本地安装EasyPhoto之前，您需要进行环境检查，确保您的系统满足以下要求：

• Windows 10或Linux操作系统。
• Python 3.10或3.11。
• PyTorch 2.0.1。
• TensorFlow 2.13.0。
• CUDA 11.7。
• CUDNN 8+。
• Nvidia显卡（具体型号根据您的选择而定）。
• 至少60GB的可用磁盘空间。

如果您在WebUI自动被OOM杀死的问题，请参考ISSUE21进行设置，将一些num_threads设置为0，并向我们报告其他修复方法，谢谢。

相关仓库和权重下载

在使用EasyPhoto之前，您需要安装Controlnet进行推断。相关的仓库是Mikubill/sd-webui-controlnet。您需要在使用EasyPhoto之前安装此仓库。

此外，我们需要至少三个Controlnet用于推断。因此，您需要在设置中设置Multi ControlNet：Max models amount（需要重启）的值。controlnet_num

其他依赖项将在启动稳定的diffusion-webui时自动安装，并且在首次训练时会自动下载所需的权重。

插件安装

现在，我们支持从Git安装EasyPhoto。我们的仓库地址是https://github.com/aigc-apps/sd-webui-EasyPhoto。

未来，我们还将支持从Available安装EasyPhoto。

如何使用EasyPhoto

模型训练

EasyPhoto的训练界面如下：

• 左侧是训练图片。只需点击“上传照片”以上传图片，点击“清除照片”以删除已上传的图片；
• 右侧是训练参数，第一次训练时无法调整。

1. 点击“上传照片”，开始上传图片。最好上传5至20张图片，包括不同角度和光照条件的图片。最好包括一些不带眼镜的图片，如果全部都是眼镜，生成的结果可能会容易生成眼镜。
2. 然后点击下方的“开始训练”，此时需要填写上方的用户ID，例如用户的姓名，以开始训练。
3. 当模型开始训练时，WebUI将自动刷新训练日志。如果没有刷新，请点击“刷新日志”按钮。

如果您想要设置参数，每个参数的解释如下：

• 分辨率：训练时输入网络的图像大小，默认值为512。
• 验证和保存步骤：验证图像和保存中间权重之间的步骤数，默认值为100，表示每100步验证一次图像并保存权重。
• 最大训练步骤：最大训练步骤数，默认值为800。
• 每张照片的最大步数：每张图像的最大训练次数，默认为200。
• 训练批次大小：训练的批次大小，默认值为1。
• 梯度累

积步骤：是否执行梯度累积，默认值为4。结合训练批次大小，每一步等同于输入四张图像。

• 数据加载器的工作线程数：加载数据的工作线程数，在Windows下不起作用，因为设置会报错，但在Linux下正常设置。
• 学习率：Train Lora的学习率，默认为1e-4。
• Rank Lora：权重的特征长度，默认为128。
• 网络alpha：Lora训练的正则化参数，通常为rank的一半，默认为64。

推断

单人生成

步骤1：点击刷新按钮以查询已训练用户ID对应的模型。
步骤2：选择用户ID。
步骤3：选择需要生成的模板。
步骤4：点击生成按钮以生成结果。

多人生成

步骤1：转到EasyPhoto的设置页面，并设置num_of_faceid大于1。
步骤2：应用设置。
步骤3：重新启动WebUI的界面。
步骤4：返回EasyPhoto并上传两个人的模板。
步骤5：选择两个人的用户ID。
步骤6：点击生成按钮进行图像生成。

结论

通过这个教程，您已经了解了如何快速入门EasyPhoto，不论是在云端还是在本地安装。EasyPhoto为图像生成提供了强大的工具，无论您是艺术家、设计师还是研究人员，都能够受益于它的功能和灵活性。现在，您可以开始使用EasyPhoto，创造令人惊叹的图像！

在这个数字化时代，图像生成是一个令人兴奋的领域，而EasyPhoto正是您探索这一领域的理想伙伴。无论您是初学者还是有经验的用户，都可以轻松使用EasyPhoto，让您的创意得以充分发挥。愿您在图像生成的旅程中取得巨大成功！

欢迎继续关注王大神AI技术博客，了解更多有关AI技术和创新的内容。

以中文撰写，发布于王大神AI技术博客。