Tag: Windows

在今天的数字时代，数据是一种宝贵的资源。对于电影爱好者和数据分析师来说，豆瓣电影Top250是一个有趣的数据源，可以用于各种目的，如了解热门电影、分析评分趋势、或者简单地为电影夜晚挑选电影。本教程将介绍如何使用Python编程，爬取豆瓣电影Top250的数据，并将数据保存为CSV文件。这个教程将向您展示如何发送HTTP请求、解析网页内容以及保存数据，是一个实际的网络爬虫示例。

准备工作

在开始之前，您需要确保已经安装了以下Python库：

• Requests：用于发送HTTP请求和获取网页内容。
• Parsel：用于解析HTML和XPath选择器。

您可以使用以下命令来安装这些库：

pip install requests parsel

发送HTTP请求

首先，我们需要发送HTTP请求到豆瓣电影Top250的网页。我们将使用Python的Requests库来发送GET请求，并模拟浏览器的User-Agent以防止被网站屏蔽。以下是发送HTTP请求的代码示例：

import requests

# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 发送GET请求
url = 'https://movie.douban.com/top250'
response = requests.get(url, headers=headers)

在上述代码中，我们定义了一个请求头，模拟了浏览器的User-Agent，并使用Requests库发送了GET请求。得到的response对象包含了网页的内容。

解析网页内容

接下来，我们需要解析网页的内容，提取我们需要的信息。我们将使用Parsel库来解析HTML和XPath选择器。以下是解析网页内容的代码示例：

import parsel

# 创建一个Selector对象
selector = parsel.Selector(response.text)

# 使用XPath选择器提取信息
titles = selector.xpath('//*[@class="info"]/div[@class="hd"]/a/span[1]/text()').getall()
intros = selector.xpath('//*[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').getall()
ratings = selector.xpath('//*[@class="info"]/div[@class="bd"]/div/span[@class="rating_num"]/text()').getall()

在上述代码中，我们首先创建了一个Selector对象，然后使用XPath选择器提取了电影的标题、简介和评分信息。这些信息将用于创建CSV文件。

创建CSV文件

现在，我们将提取的电影信息保存为CSV文件。我们使用Python的CSV库来创建和写入CSV文件。以下是创建CSV文件的代码示例：

import csv

# 打开CSV文件并写入标题行
with open("豆瓣top250.csv", mode="w", encoding="utf_8_sig", newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['片名', '简介', '评分'])

# 将电影信息写入CSV文件
with open("豆瓣top250.csv", mode="a", encoding="utf-8_sig", newline='') as f:
    csv_writer = csv.writer(f)
    for i in range(len(titles)):
        csv_writer.writerow([titles[i], intros[i], ratings[i]])

在上述代码中，我们首先打开CSV文件并写入标题行，然后使用循环将电影信息逐行写入CSV文件。

运行脚本

最后，您可以运行这个Python脚本来爬取豆瓣电影Top250的数据并保存为CSV文件。确保您已经安装了必要的库，并且能够成功发送HTTP请求并解析网页内容。

if __name__ == '__main__':
    # 发送HTTP请求、解析网页内容和保存CSV文件的代码

结论

通过本教程，您学会了如何使用Python编程，爬取豆瓣电影Top250的数据并保存为CSV文件。这是一个实际的网络爬虫示例，可以帮助您了解如何发送HTTP请求、解析网页内容以及保存数据。希望这个教程对您有所帮助，让您能够更好地处理和分析网络数据。

---

请注意：在进行网络爬取时，请遵守网站的使用规则和法律法规，不要对网站造成不必要的负担或侵犯他人的权益。

在现代互联网时代，许多网站采用动态加载技术，使得传统的静态网页爬取方法不再有效。本教程将向您介绍如何使用Python和Pyppeteer库来爬取动态网页数据。我们将通过一个实际的示例来演示这一过程，以便您能够掌握这一有用的技能。

准备工作

在开始之前，请确保您已经安装了Python，并按照以下步骤进行准备工作：

1. 安装Python库：我们将使用pyppeteer库来模拟浏览器操作。您可以使用以下命令来安装它：

   pip install pyppeteer

2. 确保您了解一些基本的Python编程知识，包括异步编程和基本的Web爬取概念。

创建爬虫程序

下面是一个示例爬虫程序，用于爬取动态加载的网页数据。这个示例程序将从一个网站中获取数据，并演示了如何模拟浏览器操作。

import asyncio
from pyppeteer import launch

from collections import namedtuple

def screen_size():
    """使用tkinter获取屏幕大小"""
    import tkinter
    tk = tkinter.Tk()
    width = tk.winfo_screenwidth()
    height = tk.winfo_screenheight()
    tk.quit()
    return width, height

async def main():
    browser = await launch({'headless': False, 'args': ['--no-sandbox'], })
    page = await browser.newPage()
    width, height = screen_size()
    await page.setViewport(viewport={"width": width, "height": height})
    await page.setJavaScriptEnabled(enabled=True)
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
        '(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
    )
    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
    await page.goto(website.url)

    now_page = 0

    while True:

        now_page += 1
        await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
        await asyncio.sleep(1)
        li_list = await page.querySelectorAll(website.list_query)

        for li in li_list:
            try:
                title_obj = await li.querySelector("a ")
                title_url = await page.evaluate('(element) => element.href', title_obj)
                title_name = await page.evaluate('(element) => element.textContent', title_obj)
                date_obj = await li.querySelector(website.title_date_query)
                title_date = await page.evaluate('(element) => element.textContent', date_obj)
                detail_page = await browser.newPage()
                await detail_page.goto(url=str(title_url))
                await detail_page.content()
                element = await detail_page.querySelector(website.content_query)
                content_html = await detail_page.evaluate('(element) => element.outerHTML', element)
                print(title_url, title_name, title_date, len(content_html))
                await detail_page.close()
            except Exception as e:
                print(e)
        print(f"第{now_page}页访问>>>>>")
        next_page_link = website.next_page_query

        if next_page_link:
            await page.click(next_page_link)
        else:
            raise Exception("已完成爬取，即将退出...")

        await asyncio.sleep(2)

async def page_close(browser):
    for _page in await browser.pages():
        await _page.close()
    await browser.close()

if __name__ == '__main__':
    Websites = namedtuple('websites', ['url', 'list_query', 'title_date_query', 'content_query', 'next_page_query'])

    websites = [
        (
            'http://www.cqzbtb.cn/_jiaoyixinxi/',
            '.listbox ul',
            '.ys',
            '.article-wrap',
            "body > section > div > div.list-wrap.row > div.listpa > ul > li:nth-child(7)"
        ),

    ]
    for i in websites:
        website = Websites._make(i)

        a = main()
        loop = asyncio.get_event_loop()
        results = loop.run_until_complete(asyncio.gather(a))

这段代码使用Pyppeteer库创建了一个浏览器实例，然后模拟了许多浏览器操作，包括访问网页、滚动页面、点击下一页等。它还演示了如何从网页中提取数据，并处理了异常情况。

结论

通过本教程，您学会了如何使用Python和Pyppeteer库来爬取动态加载的网页数据。这对于需要获取动态生成内容的网站非常有用。请注意，在进行网页爬取时，务必遵守网站的使用政策和法律法规。