Tag: Python

在这篇文章中，我们将一步一步地讲解如何抓取和下载M3U8视频，介绍使用Python进行网络爬虫的基础知识，并提供一个完整的代码示例来帮助你轻松掌握这个技能。无论你是编程新手还是有经验的开发者，都能从中学到实用技巧。

你是否曾经遇到过这样的问题：在网上看到一个很棒的视频，却无法下载保存？特别是那些以M3U8格式提供的视频，下载起来更是复杂。今天，我们将通过一个实战案例，教你如何使用Python爬虫技术来抓取和下载M3U8视频。

什么是M3U8？

在开始之前，我们需要了解什么是M3U8。M3U8是一种播放列表文件格式，常用于在线视频流媒体。它包含了媒体文件的路径，可以是本地路径，也可以是网络路径。通过M3U8文件，播放器能够按照顺序播放各个视频片段，从而实现流畅的播放体验。

工具准备

在开始编写代码之前，我们需要安装一些必备的Python库：

pip install aiohttp aiofiles requests

这些库分别用于异步HTTP请求、异步文件操作和常规HTTP请求。

代码解析

接下来，我们将一步步解析完整的代码示例，帮助你更好地理解每一部分的功能。

1. 获取电影URL

首先，我们需要获取电影页面的真实URL。因为有些网站的电影链接会包含特殊的标记或结构，通过以下函数我们可以确保获取到正确的URL：

def get_movie_url(movie_url):
    if not movie_url.endswith('/1-1.html'):
        movie_url = movie_url.replace('.html', '/1-1.html')
    return movie_url

2. 提取第一个M3U8链接和电影名称

接下来，我们需要从电影页面中提取第一个M3U8链接和电影名称：

def get_first_m3u8_url(movie_url):
    resp = requests.get(movie_url, headers=headers)
    pattern = re.compile(r'url":"(.*?)"')
    pattern_name = re.compile(r'class="hl-infos-title" href="(.*?)" title="(.*?)">')
    result = pattern.search(resp.text)
    result_name = pattern_name.search(resp.text)
    movie_name = result_name.group(2)
    encoded_url = result.group(1)
    decoded_url = urllib.parse.unquote(encoded_url)
    first_m3u8_url = decoded_url.split('url=')[-1]
    return first_m3u8_url, movie_name

3. 处理第一个M3U8链接

我们需要下载第一个M3U8文件，并从中提取出第二个M3U8链接：

def deal_first_m3u8(first_m3u8_url, movie_name):
    if not os.path.exists(f'{movie_name}/2.m3u8'):
        if not os.path.exists(movie_name):
            os.makedirs(movie_name)
        if not os.path.exists(f'{movie_name}/1.m3u8'):
            file_name = '1.m3u8'
            file_path = f'{movie_name}/{file_name}'
            resp = requests.get(first_m3u8_url, headers=headers)
            with open(file_path, 'w', encoding='utf-8') as f:
                f.write(resp.text)
            second_m3u8_url = ''
            with open(file_path, 'r', encoding='utf-8') as f:
                for line in f:
                    if line.startswith('#') or line == '\n':
                        continue
                    second_m3u8 = line.strip()
        second_m3u8_url = urljoin(first_m3u8_url, second_m3u8)
        file_name = '2.m3u8'
        file_path = f'{movie_name}/{file_name}'
        resp = requests.get(second_m3u8_url, headers=headers)
        with open(file_path, 'w', encoding='utf-8') as f:
            f.write(resp.text)

4. 解析第二个M3U8文件

然后，我们解析第二个M3U8文件，获取电影片段的URL列表：

def deal_second_m3u8(movie_name):
    file_path = f'{movie_name}/2.m3u8'
    lst_movies = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if line.startswith('#') or line == '\n':
                continue
            lst_movies.append(line.strip())
    return lst_movies

5. 异步下载电影片段

使用异步方式下载电影片段，可以提高下载速度：

async def download(down_url, file_path, sem):
    file_name = file_path + '/' + down_url[-13:]
    if not os.path.exists(file_name):
        for i in range(5):
            async with sem:
                try:
                    print(f'{file_name}开始下载。')
                    async with aiohttp.ClientSession() as session:
                        async with session.get(down_url) as resp:
                            content = await resp.content.read()
                            async with aiofiles.open(file_name, 'wb') as f:
                                await f.write(content)
                    print(f'{file_name}下载完成。')
                    break
                except Exception as e:
                    print(f'{file_name}下载失败,已重新下载，错误信息为：{e}')
                    continue

6. 合并电影片段

最后，我们将所有下载好的电影片段合并成一个完整的电影文件：

def merge_movie(lst_movies, movie_name):
    temp = []
    n = 1
    now_path = os.getcwd()
    path = f'{movie_name}/before_synthesis'
    os.chdir(path)
    for i in range(len(lst_movies)):
        file_name = lst_movies[i][-13:]
        temp.append(file_name)
        if len(temp) == 20:
            cmd = f'copy /b {"+".join(temp)} {n}.ts'
            r = os.popen(cmd)
            print(r.read())
            n += 1
            temp = []
    cmd = f'copy /b {"+".join(temp)} {n}.ts'
    r = os.popen(cmd)
    print(r.read())
    last_temp = []
    for i in range(1, n + 1):
        last_temp.append(f'{i}.ts')
    cmd = f'copy /b {"+".join(last_temp)} {movie_name}.mp4'
    r = os.popen(cmd)
    print(r.read())
    os.chdir(now_path)

主函数

if __name__ == '__main__':
    movie_url = 'https://www.7qhb.com/vod/qthl2024.html'
    movie_url = get_movie_url(movie_url)
    first_m3u8_url, movie_name = get_first_m3u8_url(movie_url)
    second_m3u8_url = deal_first_m3u8(first_m3u8_url, movie_name)
    lst_movies = deal_second_m3u8(movie_name)
    asyncio.run(main(lst_movies, movie_name))
    merge_movie(lst_movies[:], movie_name)
    print(len(lst_movies))
    print('电影下载完成！')

总结

通过这篇文章，我们从零开始，详细讲解了如何使用Python抓取和下载M3U8视频。这个过程涉及到网络请求、正则表达式、文件操作以及异步编程等多个知识点。希望这篇文章能帮助你掌握这些技能，为你在编程道路上提供一些有用的启示。

在本文中，我们将探讨为什么需要批量压缩图片大小，以及如何使用Python实现这一过程。通过简单的代码示例和详细的步骤说明，即使你是编程新手，也能轻松上手。

在数字时代，图片已经成为我们生活中不可或缺的一部分。无论是个人照片，工作报告，还是社交媒体上的分享，图片无处不在。但是，图片的文件大小往往会影响存储空间和传输速度。特别是当你有大量图片需要处理时，手动压缩每张图片不仅耗时，而且效率低下。这时候，批量压缩图片大小的需求就显得尤为重要。

那么，为什么要用Python来完成这个任务呢？Python作为一门简单且功能强大的编程语言，拥有丰富的库和工具，可以轻松实现图片的批量处理。接下来，我们将详细介绍如何使用Python批量压缩图片大小。

为什么需要压缩图片大小？

压缩图片大小不仅仅是为了节省存储空间，还有以下几个主要原因：

• 提高网站加载速度：对于网站管理员来说，页面加载速度至关重要。过大的图片会拖慢页面加载速度，影响用户体验。
• 节省带宽：特别是在移动设备上，带宽往往有限，压缩图片可以节省用户的数据流量。
• 便于传输和分享：小文件更容易通过电子邮件或社交媒体进行分享。
• 减少存储成本：对于企业来说，存储大量高分辨率图片的成本非常高，压缩图片可以节省存储空间和成本。

如何用Python实现批量压缩图片大小？

准备工作

在开始之前，你需要确保已经安装了Python和Pillow库。Pillow是Python Imaging Library的一个分支，用于处理图像文件。你可以通过以下命令安装Pillow：

pip install pillow

步骤一：导入必要的库

首先，我们需要导入Pillow库中的Image模块以及os模块来处理文件和目录。

from PIL import Image
import os

步骤二：定义压缩函数

接下来，我们定义一个函数，用于压缩单张图片。这个函数会接收图片路径、输出路径以及压缩质量作为参数。

def compress_image(input_path, output_path, quality):
    # 打开图片
    image = Image.open(input_path)
    # 保存图片，并设置压缩质量
    image.save(output_path, quality=quality)

步骤三：批量处理图片

我们可以遍历指定目录下的所有图片，并调用上述压缩函数进行批量处理。

def batch_compress_images(input_dir, output_dir, quality):
    # 确保输出目录存在
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    # 遍历输入目录下的所有文件
    for filename in os.listdir(input_dir):
        if filename.endswith(('.png', '.jpg', '.jpeg')):
            input_path = os.path.join(input_dir, filename)
            output_path = os.path.join(output_dir, filename)
            compress_image(input_path, output_path, quality)
            print(f'压缩图片: {input_path} -> {output_path}')

步骤四：执行压缩

最后，我们可以通过调用batch_compress_images函数来批量压缩指定目录下的图片。以下是一个完整的示例：

if __name__ == '__main__':
    input_directory = 'path/to/input/directory'
    output_directory = 'path/to/output/directory'
    compression_quality = 85  # 压缩质量（0-100）

    batch_compress_images(input_directory, output_directory, compression_quality)
    print('批量压缩完成！')

代码解释

1. 导入必要库：首先导入Pillow的Image模块和os模块。
2. 定义压缩函数：compress_image函数用于压缩单张图片，接收输入路径、输出路径和压缩质量作为参数。
3. 批量处理函数：batch_compress_images函数用于批量处理图片，遍历输入目录下的所有图片，并调用compress_image函数进行压缩。
4. 执行脚本：通过指定输入目录、输出目录和压缩质量来执行批量压缩操作。

扩展功能

你还可以根据需要对代码进行扩展，例如：

• 支持更多图片格式：可以通过修改filename.endswith部分来支持更多图片格式。
• 动态调整压缩质量：根据图片的初始大小或分辨率来动态调整压缩质量。
• 多线程处理：对于大量图片，可以使用多线程来提高处理效率。

常见问题

• 压缩质量的选择：压缩质量的选择需要根据实际需求进行调整，一般情况下，85%的压缩质量已经能够在保持较好图像质量的同时显著减小文件大小。
• 图片格式的兼容性：不同图片格式的压缩效果不同，建议根据实际情况选择合适的格式进行压缩。

总结

通过本文的介绍，我们详细讲解了为什么需要压缩图片大小，以及如何使用Python和Pillow库来批量压缩图片。希望这篇文章能对你有所帮助，让你能够轻松处理大量图片，提高工作效率。

在本文中，我将深入探讨GeneFace++：一种新型的实时3D对话面孔生成技术。这项技术通过提高口型同步、视频真实感和系统效率，极大地推进了虚拟人视频合成领域。我将分享从环境准备到模型训练的全流程，让您能够有效利用这一技术。

[原文图片缺失]

GeneFace++：探索实时3D对话面孔生成的新纪元

随着人工智能技术的快速发展，3D对话面孔生成技术在虚拟互动和数字媒体领域中的应用日益广泛。GeneFace++作为这一领域的新星，其官方PyTorch实现不仅提升了虚拟人视频合成的嘴形对齐、视频真实度和系统效率，还为研究人员和开发者提供了一个高效且可扩展的解决方案。

开始之前：环境准备与数据集配置

GeneFace++的实现依赖于精心准备的开发环境和数据。首先，您需要创建一个名为geneface的Python环境，并下载必要的3DMM文件来支持模型的3D映射和动作捕捉。接着，通过访问Google Drive或BaiduYun Disk，下载预处理的May数据集和预训练模型，这些是启动和运行GeneFace++的关键资料。

# 创建Python环境
conda create -n geneface python=3.8
conda activate geneface

# 下载并配置数据集
mkdir -p data/binary/videos/May
cd data/binary/videos/May
wget <your_download_link_for_trainval_dataset>

快速上手：执行模型推断

配置好环境和数据后，您可以尝试运行以下命令来生成您的第一个虚拟人视频。此步骤将演示如何使用音频到动作模型（Audio2Motion）和动作到视频模型（Motion2Video）来合成视频。

export PYTHONPATH=./
python inference/genefacepp_infer.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=checkpoints/motion2video_nerf/may_torso --drv_aud=data/raw/val_wavs/MacronSpeech.wav --out_name=may_demo.mp4

在这里，我们使用了Macron的演讲音频作为输入，通过GeneFace++技术生成了一个具有高度真实感的3D对话视频。这证明了GeneFace++不仅能够处理高质量的音视频生成，而且操作简便，易于上手。

自定义训练：在您自己的视频上应用GeneFace++

在您已经掌握如何使用预训练模型进行推断后，您可能会希望将GeneFace++应用到自己的视频项目中。以下是在您自己的目标人物视频上训练GeneFace++的步骤：

步骤1：数据预处理

为了训练GeneFace++模型，首先需要准备和处理您的视频数据。这包括视频的裁剪、格式转换以及面部特征的提取。GeneFace++ 提供了一系列工具和指导，帮助您标准化视频数据，以确保训练过程的顺利进行。

# 裁剪和转换视频
python tools/preprocess_video.py --input_video_path=<your_video_path> --output_dir=./data/preprocessed_videos

# 提取面部特征
python tools/extract_features.py --input_video_dir=./data/preprocessed_videos --output_dir=./data/features

步骤2：训练模型

训练GeneFace++模型需要利用步骤1中处理好的视频数据。您可以通过调整训练参数来优化模型的表现，以更好地适应您的特定需求和视频样本。

# 启动训练过程
python train/train_genefacepp.py --data_dir=./data/features --output_dir=./checkpoints/my_model

通过上述步骤，您不仅能够生成专门为您的视频优化的模型，还可以深入理解模型训练的每个细节，从而进行必要的调整和优化。

步骤3：评估和优化

训练完成后，评估模型的性能至关重要。您可以使用不同的度量标准来评估模型在口型同步、表情自然度以及视频真实感方面的表现。根据评估结果，您可能需要回到数据预处理或模型训练阶段进行调整，以达到更优的效果。

# 评估模型
python evaluate/evaluate_model.py --model_checkpoint=./checkpoints/my_model --eval_data_dir=./data/eval_data

深入探讨GeneFace++的高级特性和应用案例

GeneFace++不仅为研究者和开发者提供了一个强大的工具，也拓展了3D对话面孔生成技术的应用范围。接下来，我们将探讨GeneFace++的几个高级特性以及如何在不同的应用场景中利用这些特性。

高级特性：实时性能优化

GeneFace++最引人注目的特点之一是其实时性能。通过优化的模型架构和高效的代码实现，GeneFace++能够在不牺牲输出质量的前提下，实现高速的数据处理和视频生成。这一特性使得GeneFace++特别适用于实时交互应用，如虚拟客服、在线教育和实时媒体演示。

# 实时视频生成示例代码
python realtime/genefacepp_realtime.py --model_checkpoint=./checkpoints/my_model --input_audio_stream=<your_live_audio_feed>

应用案例：虚拟新闻主播

考虑到GeneFace++的高视频真实度和系统效率，它可以被用来创建虚拟新闻主播。这些虚拟主播能够根据实时新闻稿自动生成新闻报道视频，不仅提高了新闻发布的效率，也为媒体公司提供了一种成本效益高的内容创制方式。

应用案例：定制化视频内容创制

GeneFace++还可以应用于个性化视频内容的创制，如定制化的教育视频或个人化的广告。用户可以输入特定的文本或音频材料，GeneFace++将这些输入转化为具有高度个性化的视频内容，这对于增强用户体验和提高观看率具有显著效果。

结论

GeneFace++通过其先进的技术和灵活的应用可能性，正定义着未来的数字媒体和虚拟互动领域。无论是在业务扩展、教育创新还是媒体制作方面，GeneFace++都展示了巨大的潜力和价值。

通过本文的深入分析，我们不仅理解了GeneFace++的技术细节，还探索了其在各种实际应用中的广泛用途。希望这些信息能帮助您更好地利用这一技术，推动您的项目或研究向前发展。

在本篇技术博客中，我将详细介绍如何使用Python、Playwright和Flet框架开发一个汉字笔画提取工具。从初始化项目到构建用户界面，再到实现笔画提取和图片处理，每一个步骤都将逐一展开，旨在帮助初学者理解和运用这些技术。

在日常的软件开发中，特别是在涉及文字处理和语言学习的应用中，经常需要处理和展示汉字的笔画顺序。这个项目的初衷就是为了开发一个可以输入汉字并展示其笔画图像的工具，使用Python语言结合Playwright来实现这一功能。下面是我如何从零开始构建这个应用的过程。

项目背景与目标

作为一个热衷于技术和语言学习的开发者，我发现市面上虽然有很多汉字学习的应用，但很少有工具可以动态地展示汉字的笔画顺序。因此，我决定自己动手实现一个。这个工具的核心功能包括：

• 输入汉字并提取笔画。
• 显示汉字笔画的顺序和详细图像。
• 提供用户界面以便操作和展示结果。

技术栈选择

• Python：由于其简单和丰富的库支持，我选择Python作为后端语言。
• Playwright：用于在浏览器中自动化获取汉字的笔画图像。
• Flet：一个轻量级的Python框架，用于构建跨平台的应用。
• PIL：Python图像库，用于图像处理。

开发过程

初始化日志记录器

日志是任何应用程序的重要组成部分，它帮助我们了解程序运行的状态。我使用以下代码来设置日志记录：

import logging
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

用户界面设计

使用Flet框架，我设计了一个简单而直观的用户界面。它包括一个文本输入框、一个排序下拉菜单和一个用于展示笔画的滚动视图。用户界面的布局如下所示：

def build(self):
    layout = [
        flet.Row(controls=[Text("欢迎使用汉字输出笔划工具!", size=30, color=flet.colors.LIGHT_BLUE_500)]),
        flet.Row(controls=[self.chinese_word_input]),
        flet.Row(controls=[self.word_sort_dropdown, flet.ElevatedButton("汉字笔划", on_click=self.generate_bi_hua)]),
        flet.Row(controls=[self.bihua_scroll_viewer])
    ]
    return flet.Column(controls=layout)

汉字笔画提取

核心功能是提取汉字的笔画，并使用Playwright在无头浏览器中自动截图。我通过以下函数实现：

def generate_single_bi_hua(self, page, word):
    url = f"https://hanyu.baidu.com/s?wd={word}&ptype=zici"
    page.goto(url)
    element_selector = '.word-stroke-wrap'
    element = page.locator(element_selector)
    bounding_box = element.bounding_box()
    if bounding_box:
        page.screenshot(path=f'./images/{word}.png', clip={'x': bounding_box['x'], 'y': bounding_box['y'], 'width': bounding_box['width'], 'height': bounding_box['height']})

遇到的挑战

在开发过程中，我遇到了几个挑战，例如浏览器自动化脚本的稳定性和图片合成的效率问题。通过调整代码和优化逻辑，最终得到了满意的结果。

结语

通过这个项目，我不仅提高了自己的编程技能，还成功解决了一个实际问题。希望这篇文章能帮助到有类似需求的读者。如果你对汉字的笔画提取有兴趣，可以尝试运行和修改这个代码，以更好地适应你的需求。