Category: 技术折腾

有没有想过如何获取知乎上的热门话题和推荐内容？知乎是一个汇聚了各种各样有趣问题和高质量回答的社交平台，获取其中的热门内容对于信息追踪和知识获取都非常有帮助。在这篇教程中，我们将使用Python来获取知乎的热榜和推荐内容，让你可以轻松掌握最新的热门话题和推荐问题。

开篇故事

假设你是一个热衷于知识和话题讨论的人，每天都希望了解最新的热门话题和推荐问题。而知乎正是一个让你满足这个需求的平台。但是，每天都手动打开知乎网站，查看热榜和推荐内容可能会很麻烦，特别是当你时间有限时。因此，你决定寻找一种更高效的方法，让计算机来帮你获取这些信息。

这时，Python走进了你的视野。你了解到可以使用Python编写一个脚本，通过知乎的API来获取热榜和推荐内容。这听起来非常酷，不是吗？那么，让我们开始吧！

步骤一：准备工作

首先，我们需要导入Python的requests库，这将帮助我们发送HTTP请求以获取知乎的数据。你可以使用以下命令来安装这个库：

pip install requests

然后，我们将创建一个名为Zhihu的类，用于获取知乎的热榜和推荐内容。在类的构造函数中，我们定义了知乎的API链接、请求头和一些初始变量。

import requests

class Zhihu:
    """
    知乎热榜和推荐内容获取
    """

    def __init__(self):
        self.hot_lists_api = 'https://api.zhihu.com/topstory/hot-lists/total'  # 热榜API
        self.recommend_lists_api = 'https://api.zhihu.com/topstory/recommend'  # 推荐API
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
        }
        self.hot = self.get_hot_lists()  # 热榜未处理数据
        self.recommend = self.get_recommend_lists()  # 推荐未处理数据
        self.hot_data = self.wash_hot_lists()  # 热榜处理后数据
        self.recommend_data = self.wash_recommend_lists()  # 推荐处理后数据

在构造函数中，我们还调用了四个方法来获取和处理热榜和推荐内容的数据。这些方法将在接下来的步骤中逐一实现。

步骤二：获取知乎热榜数据

第一个方法get_hot_lists用于获取知乎的热榜数据。我们将向知乎的热榜API发送HTTP请求，并将响应内容以JSON格式返回。

def get_hot_lists(self):
    """
    获取知乎热榜
    :return: JSON数据
    """
    params = {'limit': '10',
              'is_browser_model': '0'}
    response = requests.get(url=self.hot_lists_api, headers=self.headers, params=params)
    return response.json()

在这个方法中，我们指定了一些参数，比如limit表示获取前10条热榜数据，is_browser_model表示不使用浏览器模式。然后，我们发送GET请求并返回JSON响应。

步骤三：获取知乎推荐数据

第二个方法get_recommend_lists用于获取知乎的推荐数据。与热榜数据不同，推荐数据需要一些额外的参数，如action、ad_interval、after_id和page_number。我们同样向知乎的推荐API发送HTTP请求，并将响应内容以JSON格式返回。

def get_recommend_lists(self):
    """
    获取知乎推荐内容
    :return: JSON数据
    """
    params = {
        "action": "down",
        "ad_interval": "-10",
        "after_id": '1',  # TODO: 需要根据实际情况设置
        "page_number": '1',  # TODO: 需要根据实际情况设置
        "session_token": "99872c210b53364be1ede4bf459e8005", }
    response = requests.get(url=self.recommend_lists_api, headers=self.headers, params=params)
    return response.json()

在这个方法中，我们需要注意设置after_id和page_number参数，这两个参数需要根据实际情况进行设置，以获取正确的推荐内容。

步骤四：处理热榜数据

第三个方法wash_hot_lists用于清洗热榜数据，将其处理成易读的格式。知乎的热榜数据包含了许多信息，但我们只关心标题和URL。所以，在这个方法中，我们遍历原始数据，提取出标题和URL，并将它们格式化成[title](url)的形式。

def wash_hot_lists(self):
    """
    清洗热榜数据
    :return: ['[title](url)', ....]
    """
    hot_lists = []
    for data in self.hot['data']:
        title = data['target']['title']
        url = data['target']['url'].

replace('api.zhihu.com/questions', 'zhihu.com/question')
        hot_lists.append(f'[{title}]({url})')
    return hot_lists

这个方法将处理后的数据存储在hot_data属性中，以供后续使用。

步骤五：处理推荐数据

第四个方法wash_recommend_lists用于清洗推荐数据，同样将其处理成易读的格式。知乎的推荐数据可能包含问题和文章两种类型，所以我们需要根据数据的不同类型来提取标题和URL。

def wash_recommend_lists(self):
    """
    清洗推荐数据
    :return: ['[title](url)', ....]
    """
    recommend_lists = []
    for data in self.recommend['data']:
        try:
            title = data['target']['question']['title']
            url = data['target']['question']['url'].replace('api.zhihu.com/questions', 'zhihu.com/question')
        except KeyError:
            title = data['target']['title']
            url = data['target']['url'].replace('api.zhihu.com/questions', 'zhihu.com/question')
        recommend_lists.append(f'[{title}]({url})')
    return recommend_lists

这个方法将处理后的数据存储在recommend_data属性中，以供后续使用。

步骤六：使用示例

在类的构造函数中，我们已经调用了上述四个方法，获取和处理了热榜和推荐内容的数据。现在，你可以创建一个Zhihu类的实例，并使用其中的hot_data和recommend_data属性来访问处理后的数据。

zhihu = Zhihu()
print("知乎热榜：")
for item in zhihu.hot_data:
    print(item)

print("知乎推荐：")
for item in zhihu.recommend_data:
    print(item)

以上就是如何使用Python获取知乎热榜和推荐内容的方法。通过这个教程，你可以轻松地获取最新的热门话题和推荐问题，而不必手动浏览网站。这个方法还可以用于自动化信息追踪和数据分析等应用。

在数字时代，图片是信息传递和分享的重要方式之一。如果你经常需要从网站上下载大量图片，那么手动下载将会是一项繁琐的任务。但是，不用担心！本教程将向你展示如何使用Python编写一个脚本来批量下载网站上的图片，让这项任务变得轻松而高效。

开篇故事

假设你是一名摄影爱好者，热衷于收集各种美丽的图片。你听说有一个网站，上面有数以千计的精美图片等待着你去探索。然而，手动一个一个下载这些图片将耗费你大量的时间和精力，于是你决定寻找一种更聪明的方式。

这时，Python走进了你的视野。你得知可以使用Python编写一个脚本，让它自动帮你下载这些图片。这听起来很酷，不是吗？那么，让我们开始吧！

步骤一：准备工作

首先，我们需要安装几个Python库，以便在脚本中使用它们。这些库包括requests、lxml和concurrent.futures。你可以使用以下命令来安装它们：

pip install requests lxml

这些库将帮助我们进行网页请求、解析HTML以及并发下载图片。

步骤二：编写下载图片的函数

接下来，我们将编写一个函数，用于从指定的URL下载图片并保存到本地。这个函数将接受两个参数：图片的URL和保存路径。以下是这个函数的代码：

import requests
import os

def download_image(url, img_path):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    img_name = url.split('/')[-1]
    with open(os.path.join(img_path, img_name), 'wb') as f:
        f.write(response.content)
        print(f'图片：{img_path}' + '/' + f'{img_name}下载完成！')

这个函数首先发送HTTP请求以获取图片的内容，然后将内容保存到本地文件。在保存文件时，我们使用了图片的URL中的文件名作为文件名。

步骤三：编写处理网页的函数

现在，我们需要编写一个函数来处理网页，提取出图片的URL，并调用上面的download_image函数来下载图片。以下是这个函数的代码：

from lxml import etree

def process_page(page):
    url = f'https://www.****.****/page/{page}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    html = etree.HTML(response.content)
    img_urls = html.xpath('//div[@class="excerpts"]/article/a/@href')

    for img_url in img_urls:
        response = requests.get(img_url, headers=headers)
        html = etree.HTML(response.content)
        img_elements = html.xpath('//article/p/img')
        img_title = html.xpath('//title/text()')[0].split('-')[0]
        img_path = f'J:/xiezhen/{img_title}'

        if not os.path.exists(img_path):
            os.makedirs(img_path)

        for img_element in img_elements:
            img_url = img_element.attrib['src']
            download_image(img_url, img_path)

        time.sleep(0.5)

这个函数首先访问指定页面的URL，然后使用XPath解析HTML，提取出文章页面的链接。接着，它遍历每个文章页面的链接，进一步提取出图片的URL和标题。然后，它创建一个以标题命名的文件夹，将图片保存在其中。

步骤四：并发下载

为了提高下载速度，我们可以使用Python的concurrent.futures模块来实现并发下载。以下是如何使用该模块的代码：

import concurrent.futures

if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor() as executor:
        futures = []
        for page in range(1, 573):
            futures.append(executor.submit(process_page, page))
        for future in concurrent.futures.as_completed(futures):
            pass

这段代码会创建一个线程池，每个线程将处理一个页面的下载任务。我们遍历了从1到572的页面，并将每个页面的处理函数process_page提交给线程池。最后，我们等待所有任务完成。

结语

通过这个简单的Python脚本，你可以轻松实现批量下载网站图片的任务。不再需要手动一个一个下载，节省了大量时间和精力。这是Python的强大之处，它可以帮助你自动化各种任务，让生活更加便捷。