Tag: 教程

在这篇文章中，我们将一步一步地讲解如何抓取和下载M3U8视频，介绍使用Python进行网络爬虫的基础知识，并提供一个完整的代码示例来帮助你轻松掌握这个技能。无论你是编程新手还是有经验的开发者，都能从中学到实用技巧。

你是否曾经遇到过这样的问题：在网上看到一个很棒的视频，却无法下载保存？特别是那些以M3U8格式提供的视频，下载起来更是复杂。今天，我们将通过一个实战案例，教你如何使用Python爬虫技术来抓取和下载M3U8视频。

什么是M3U8？

在开始之前，我们需要了解什么是M3U8。M3U8是一种播放列表文件格式，常用于在线视频流媒体。它包含了媒体文件的路径，可以是本地路径，也可以是网络路径。通过M3U8文件，播放器能够按照顺序播放各个视频片段，从而实现流畅的播放体验。

工具准备

在开始编写代码之前，我们需要安装一些必备的Python库：

pip install aiohttp aiofiles requests

这些库分别用于异步HTTP请求、异步文件操作和常规HTTP请求。

代码解析

接下来，我们将一步步解析完整的代码示例，帮助你更好地理解每一部分的功能。

1. 获取电影URL

首先，我们需要获取电影页面的真实URL。因为有些网站的电影链接会包含特殊的标记或结构，通过以下函数我们可以确保获取到正确的URL：

def get_movie_url(movie_url):
    if not movie_url.endswith('/1-1.html'):
        movie_url = movie_url.replace('.html', '/1-1.html')
    return movie_url

2. 提取第一个M3U8链接和电影名称

接下来，我们需要从电影页面中提取第一个M3U8链接和电影名称：

def get_first_m3u8_url(movie_url):
    resp = requests.get(movie_url, headers=headers)
    pattern = re.compile(r'url":"(.*?)"')
    pattern_name = re.compile(r'class="hl-infos-title" href="(.*?)" title="(.*?)">')
    result = pattern.search(resp.text)
    result_name = pattern_name.search(resp.text)
    movie_name = result_name.group(2)
    encoded_url = result.group(1)
    decoded_url = urllib.parse.unquote(encoded_url)
    first_m3u8_url = decoded_url.split('url=')[-1]
    return first_m3u8_url, movie_name

3. 处理第一个M3U8链接

我们需要下载第一个M3U8文件，并从中提取出第二个M3U8链接：

def deal_first_m3u8(first_m3u8_url, movie_name):
    if not os.path.exists(f'{movie_name}/2.m3u8'):
        if not os.path.exists(movie_name):
            os.makedirs(movie_name)
        if not os.path.exists(f'{movie_name}/1.m3u8'):
            file_name = '1.m3u8'
            file_path = f'{movie_name}/{file_name}'
            resp = requests.get(first_m3u8_url, headers=headers)
            with open(file_path, 'w', encoding='utf-8') as f:
                f.write(resp.text)
            second_m3u8_url = ''
            with open(file_path, 'r', encoding='utf-8') as f:
                for line in f:
                    if line.startswith('#') or line == '\n':
                        continue
                    second_m3u8 = line.strip()
        second_m3u8_url = urljoin(first_m3u8_url, second_m3u8)
        file_name = '2.m3u8'
        file_path = f'{movie_name}/{file_name}'
        resp = requests.get(second_m3u8_url, headers=headers)
        with open(file_path, 'w', encoding='utf-8') as f:
            f.write(resp.text)

4. 解析第二个M3U8文件

然后，我们解析第二个M3U8文件，获取电影片段的URL列表：

def deal_second_m3u8(movie_name):
    file_path = f'{movie_name}/2.m3u8'
    lst_movies = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if line.startswith('#') or line == '\n':
                continue
            lst_movies.append(line.strip())
    return lst_movies

5. 异步下载电影片段

使用异步方式下载电影片段，可以提高下载速度：

async def download(down_url, file_path, sem):
    file_name = file_path + '/' + down_url[-13:]
    if not os.path.exists(file_name):
        for i in range(5):
            async with sem:
                try:
                    print(f'{file_name}开始下载。')
                    async with aiohttp.ClientSession() as session:
                        async with session.get(down_url) as resp:
                            content = await resp.content.read()
                            async with aiofiles.open(file_name, 'wb') as f:
                                await f.write(content)
                    print(f'{file_name}下载完成。')
                    break
                except Exception as e:
                    print(f'{file_name}下载失败,已重新下载，错误信息为：{e}')
                    continue

6. 合并电影片段

最后，我们将所有下载好的电影片段合并成一个完整的电影文件：

def merge_movie(lst_movies, movie_name):
    temp = []
    n = 1
    now_path = os.getcwd()
    path = f'{movie_name}/before_synthesis'
    os.chdir(path)
    for i in range(len(lst_movies)):
        file_name = lst_movies[i][-13:]
        temp.append(file_name)
        if len(temp) == 20:
            cmd = f'copy /b {"+".join(temp)} {n}.ts'
            r = os.popen(cmd)
            print(r.read())
            n += 1
            temp = []
    cmd = f'copy /b {"+".join(temp)} {n}.ts'
    r = os.popen(cmd)
    print(r.read())
    last_temp = []
    for i in range(1, n + 1):
        last_temp.append(f'{i}.ts')
    cmd = f'copy /b {"+".join(last_temp)} {movie_name}.mp4'
    r = os.popen(cmd)
    print(r.read())
    os.chdir(now_path)

主函数

if __name__ == '__main__':
    movie_url = 'https://www.7qhb.com/vod/qthl2024.html'
    movie_url = get_movie_url(movie_url)
    first_m3u8_url, movie_name = get_first_m3u8_url(movie_url)
    second_m3u8_url = deal_first_m3u8(first_m3u8_url, movie_name)
    lst_movies = deal_second_m3u8(movie_name)
    asyncio.run(main(lst_movies, movie_name))
    merge_movie(lst_movies[:], movie_name)
    print(len(lst_movies))
    print('电影下载完成！')

总结

通过这篇文章，我们从零开始，详细讲解了如何使用Python抓取和下载M3U8视频。这个过程涉及到网络请求、正则表达式、文件操作以及异步编程等多个知识点。希望这篇文章能帮助你掌握这些技能，为你在编程道路上提供一些有用的启示。

在本文中，我们将探讨为什么需要批量压缩图片大小，以及如何使用Python实现这一过程。通过简单的代码示例和详细的步骤说明，即使你是编程新手，也能轻松上手。

在数字时代，图片已经成为我们生活中不可或缺的一部分。无论是个人照片，工作报告，还是社交媒体上的分享，图片无处不在。但是，图片的文件大小往往会影响存储空间和传输速度。特别是当你有大量图片需要处理时，手动压缩每张图片不仅耗时，而且效率低下。这时候，批量压缩图片大小的需求就显得尤为重要。

那么，为什么要用Python来完成这个任务呢？Python作为一门简单且功能强大的编程语言，拥有丰富的库和工具，可以轻松实现图片的批量处理。接下来，我们将详细介绍如何使用Python批量压缩图片大小。

为什么需要压缩图片大小？

压缩图片大小不仅仅是为了节省存储空间，还有以下几个主要原因：

• 提高网站加载速度：对于网站管理员来说，页面加载速度至关重要。过大的图片会拖慢页面加载速度，影响用户体验。
• 节省带宽：特别是在移动设备上，带宽往往有限，压缩图片可以节省用户的数据流量。
• 便于传输和分享：小文件更容易通过电子邮件或社交媒体进行分享。
• 减少存储成本：对于企业来说，存储大量高分辨率图片的成本非常高，压缩图片可以节省存储空间和成本。

如何用Python实现批量压缩图片大小？

准备工作

在开始之前，你需要确保已经安装了Python和Pillow库。Pillow是Python Imaging Library的一个分支，用于处理图像文件。你可以通过以下命令安装Pillow：

pip install pillow

步骤一：导入必要的库

首先，我们需要导入Pillow库中的Image模块以及os模块来处理文件和目录。

from PIL import Image
import os

步骤二：定义压缩函数

接下来，我们定义一个函数，用于压缩单张图片。这个函数会接收图片路径、输出路径以及压缩质量作为参数。

def compress_image(input_path, output_path, quality):
    # 打开图片
    image = Image.open(input_path)
    # 保存图片，并设置压缩质量
    image.save(output_path, quality=quality)

步骤三：批量处理图片

我们可以遍历指定目录下的所有图片，并调用上述压缩函数进行批量处理。

def batch_compress_images(input_dir, output_dir, quality):
    # 确保输出目录存在
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    # 遍历输入目录下的所有文件
    for filename in os.listdir(input_dir):
        if filename.endswith(('.png', '.jpg', '.jpeg')):
            input_path = os.path.join(input_dir, filename)
            output_path = os.path.join(output_dir, filename)
            compress_image(input_path, output_path, quality)
            print(f'压缩图片: {input_path} -> {output_path}')

步骤四：执行压缩

最后，我们可以通过调用batch_compress_images函数来批量压缩指定目录下的图片。以下是一个完整的示例：

if __name__ == '__main__':
    input_directory = 'path/to/input/directory'
    output_directory = 'path/to/output/directory'
    compression_quality = 85  # 压缩质量（0-100）

    batch_compress_images(input_directory, output_directory, compression_quality)
    print('批量压缩完成！')

代码解释

1. 导入必要库：首先导入Pillow的Image模块和os模块。
2. 定义压缩函数：compress_image函数用于压缩单张图片，接收输入路径、输出路径和压缩质量作为参数。
3. 批量处理函数：batch_compress_images函数用于批量处理图片，遍历输入目录下的所有图片，并调用compress_image函数进行压缩。
4. 执行脚本：通过指定输入目录、输出目录和压缩质量来执行批量压缩操作。

扩展功能

你还可以根据需要对代码进行扩展，例如：

• 支持更多图片格式：可以通过修改filename.endswith部分来支持更多图片格式。
• 动态调整压缩质量：根据图片的初始大小或分辨率来动态调整压缩质量。
• 多线程处理：对于大量图片，可以使用多线程来提高处理效率。

常见问题

• 压缩质量的选择：压缩质量的选择需要根据实际需求进行调整，一般情况下，85%的压缩质量已经能够在保持较好图像质量的同时显著减小文件大小。
• 图片格式的兼容性：不同图片格式的压缩效果不同，建议根据实际情况选择合适的格式进行压缩。

总结

通过本文的介绍，我们详细讲解了为什么需要压缩图片大小，以及如何使用Python和Pillow库来批量压缩图片。希望这篇文章能对你有所帮助，让你能够轻松处理大量图片，提高工作效率。