Tag: 教程

在今天的数字时代，数据是一种宝贵的资源。对于电影爱好者和数据分析师来说，豆瓣电影Top250是一个有趣的数据源，可以用于各种目的，如了解热门电影、分析评分趋势、或者简单地为电影夜晚挑选电影。本教程将介绍如何使用Python编程，爬取豆瓣电影Top250的数据，并将数据保存为CSV文件。这个教程将向您展示如何发送HTTP请求、解析网页内容以及保存数据，是一个实际的网络爬虫示例。

准备工作

在开始之前，您需要确保已经安装了以下Python库：

• Requests：用于发送HTTP请求和获取网页内容。
• Parsel：用于解析HTML和XPath选择器。

您可以使用以下命令来安装这些库：

pip install requests parsel

发送HTTP请求

首先，我们需要发送HTTP请求到豆瓣电影Top250的网页。我们将使用Python的Requests库来发送GET请求，并模拟浏览器的User-Agent以防止被网站屏蔽。以下是发送HTTP请求的代码示例：

import requests

# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 发送GET请求
url = 'https://movie.douban.com/top250'
response = requests.get(url, headers=headers)

在上述代码中，我们定义了一个请求头，模拟了浏览器的User-Agent，并使用Requests库发送了GET请求。得到的response对象包含了网页的内容。

解析网页内容

接下来，我们需要解析网页的内容，提取我们需要的信息。我们将使用Parsel库来解析HTML和XPath选择器。以下是解析网页内容的代码示例：

import parsel

# 创建一个Selector对象
selector = parsel.Selector(response.text)

# 使用XPath选择器提取信息
titles = selector.xpath('//*[@class="info"]/div[@class="hd"]/a/span[1]/text()').getall()
intros = selector.xpath('//*[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').getall()
ratings = selector.xpath('//*[@class="info"]/div[@class="bd"]/div/span[@class="rating_num"]/text()').getall()

在上述代码中，我们首先创建了一个Selector对象，然后使用XPath选择器提取了电影的标题、简介和评分信息。这些信息将用于创建CSV文件。

创建CSV文件

现在，我们将提取的电影信息保存为CSV文件。我们使用Python的CSV库来创建和写入CSV文件。以下是创建CSV文件的代码示例：

import csv

# 打开CSV文件并写入标题行
with open("豆瓣top250.csv", mode="w", encoding="utf_8_sig", newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['片名', '简介', '评分'])

# 将电影信息写入CSV文件
with open("豆瓣top250.csv", mode="a", encoding="utf-8_sig", newline='') as f:
    csv_writer = csv.writer(f)
    for i in range(len(titles)):
        csv_writer.writerow([titles[i], intros[i], ratings[i]])

在上述代码中，我们首先打开CSV文件并写入标题行，然后使用循环将电影信息逐行写入CSV文件。

运行脚本

最后，您可以运行这个Python脚本来爬取豆瓣电影Top250的数据并保存为CSV文件。确保您已经安装了必要的库，并且能够成功发送HTTP请求并解析网页内容。

if __name__ == '__main__':
    # 发送HTTP请求、解析网页内容和保存CSV文件的代码

结论

通过本教程，您学会了如何使用Python编程，爬取豆瓣电影Top250的数据并保存为CSV文件。这是一个实际的网络爬虫示例，可以帮助您了解如何发送HTTP请求、解析网页内容以及保存数据。希望这个教程对您有所帮助，让您能够更好地处理和分析网络数据。

请注意：在进行网络爬取时，请遵守网站的使用规则和法律法规，不要对网站造成不必要的负担或侵犯他人的权益。

在现代互联网时代，许多网站采用动态加载技术，使得传统的静态网页爬取方法不再有效。本教程将向您介绍如何使用Python和Pyppeteer库来爬取动态网页数据。我们将通过一个实际的示例来演示这一过程，以便您能够掌握这一有用的技能。

准备工作

在开始之前，请确保您已经安装了Python，并按照以下步骤进行准备工作：

1. 安装Python库：我们将使用pyppeteer库来模拟浏览器操作。您可以使用以下命令来安装它：

   pip install pyppeteer

2. 确保您了解一些基本的Python编程知识，包括异步编程和基本的Web爬取概念。

创建爬虫程序

下面是一个示例爬虫程序，用于爬取动态加载的网页数据。这个示例程序将从一个网站中获取数据，并演示了如何模拟浏览器操作。

import asyncio
from pyppeteer import launch

from collections import namedtuple

def screen_size():
    """使用tkinter获取屏幕大小"""
    import tkinter
    tk = tkinter.Tk()
    width = tk.winfo_screenwidth()
    height = tk.winfo_screenheight()
    tk.quit()
    return width, height

async def main():
    browser = await launch({'headless': False, 'args': ['--no-sandbox'], })
    page = await browser.newPage()
    width, height = screen_size()
    await page.setViewport(viewport={"width": width, "height": height})
    await page.setJavaScriptEnabled(enabled=True)
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
        '(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
    )
    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
    await page.goto(website.url)

    now_page = 0

    while True:

        now_page += 1
        await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
        await asyncio.sleep(1)
        li_list = await page.querySelectorAll(website.list_query)

        for li in li_list:
            try:
                title_obj = await li.querySelector("a ")
                title_url = await page.evaluate('(element) => element.href', title_obj)
                title_name = await page.evaluate('(element) => element.textContent', title_obj)
                date_obj = await li.querySelector(website.title_date_query)
                title_date = await page.evaluate('(element) => element.textContent', date_obj)
                detail_page = await browser.newPage()
                await detail_page.goto(url=str(title_url))
                await detail_page.content()
                element = await detail_page.querySelector(website.content_query)
                content_html = await detail_page.evaluate('(element) => element.outerHTML', element)
                print(title_url, title_name, title_date, len(content_html))
                await detail_page.close()
            except Exception as e:
                print(e)
        print(f"第{now_page}页访问>>>>>")
        next_page_link = website.next_page_query

        if next_page_link:
            await page.click(next_page_link)
        else:
            raise Exception("已完成爬取，即将退出...")

        await asyncio.sleep(2)

async def page_close(browser):
    for _page in await browser.pages():
        await _page.close()
    await browser.close()

if __name__ == '__main__':
    Websites = namedtuple('websites', ['url', 'list_query', 'title_date_query', 'content_query', 'next_page_query'])

    websites = [
        (
            'http://www.cqzbtb.cn/_jiaoyixinxi/',
            '.listbox ul',
            '.ys',
            '.article-wrap',
            "body > section > div > div.list-wrap.row > div.listpa > ul > li:nth-child(7)"
        ),

    ]
    for i in websites:
        website = Websites._make(i)

        a = main()
        loop = asyncio.get_event_loop()
        results = loop.run_until_complete(asyncio.gather(a))

这段代码使用Pyppeteer库创建了一个浏览器实例，然后模拟了许多浏览器操作，包括访问网页、滚动页面、点击下一页等。它还演示了如何从网页中提取数据，并处理了异常情况。

结论

通过本教程，您学会了如何使用Python和Pyppeteer库来爬取动态加载的网页数据。这对于需要获取动态生成内容的网站非常有用。请注意，在进行网页爬取时，务必遵守网站的使用政策和法律法规。

在数字时代，获取各种信息变得愈加便捷，但有时我们需要特定的数据或资源，而互联网上的BT种子资源是一种常见的需求。本教程将向您展示如何使用Python编写爬虫程序，以获取BT种子资源并进行基本的分析。无论是寻找最新的电影、音乐、软件，还是满足其他资源需求，本教程都将帮助您掌握这一技能。

准备工作

在开始之前，确保您已经安装了Python，并且具备以下准备工作：

1. 安装Python库：我们将使用requests和BeautifulSoup库来进行网页爬取和解析。您可以使用以下命令来安装它们：

   pip install requests
   pip install beautifulsoup4

2. 确保您了解一些基本的Python编程知识，包括变量、循环和条件语句。

爬取BT种子资源

首先，我们需要编写Python代码来爬取BT种子资源。以下是示例代码：

from bs4 import BeautifulSoup
import requests
from urllib.parse import quote

# 设置请求头
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.50'
}

# 输入关键词
keyword = input("请输入关键词： ")

# 构建搜索URL
search_url = f'https://tellme.pw/bts/search/{quote(keyword)}'

# 发送GET请求
response = requests.get(url=search_url, headers=headers)

# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(response.text, 'lxml')

# 提取种子信息
magnet_links = []
titles = []
sizes = []
dates = []

# 迭代页面
for page in range(1, 51):  # 最多爬取50页
    page_url = f'{search_url}/page/{page}'
    response = requests.get(url=page_url, headers=headers)
    soup = BeautifulSoup(response.text, 'lxml')
    data_list = soup.find_all("a", {"href": re.compile("\/\/btsow\.*?"), "title": re.compile('.*?')})

    # 提取种子信息并存储
    for item in data_list:
        magnet_links.append('magnet:?xt=urn:btih:' + item.get('href')[-40:])
        titles.append(item.get('title'))
        size_info = item.find("div", {"class": re.compile('.*?size')}).get_text().split(" / ")
        size = size_info[0][5:-2]
        size_unit = size_info[0][-2:]
        if size_unit == "TB":
            sizes.append(float(size) * 1024 ** 2)
        elif size_unit == "GB":
            sizes.append(float(size) * 1024)
        elif size_unit == "MB":
            sizes.append(float(size))
        elif size_unit == "KB":
            sizes.append(float(size) / 1024)
        else:
            sizes.append(0)
        dates.append(size_info[1][13:])

# 打印获取的资源信息
if len(magnet_links) == 0:
    print('未找到任何资源')
else:
    print('链接数量：', len(magnet_links))
    print('详细内容：')
    for i in range(len(magnet_links)):
        print(magnet_links[i] + '\t' + str(sizes[i]) + '\t' + titles[i])

以上代码首先发送GET请求，然后使用BeautifulSoup解析页面内容，提取了种子的磁力链接、标题、大小和日期。最后，将这些信息打印出来供用户查看。

数据分析与保存

如果您想进一步分析或保存这些种子信息，可以将数据存储到CSV文件中。以下是如何做到的代码：

import csv

# 创建CSV文件并写入数据
if len(magnet_links) > 0:
    with open(f'{keyword}.csv', mode='w', newline='', encoding='utf-8-sig') as file:
        writer = csv.writer(file)
        writer.writerow(['种子名', '磁力链接', '文件大小（单位：MB）', '日期'])
        for i in range(len(magnet_links)):
            writer.writerow([titles[i], magnet_links[i], sizes[i], dates[i]])
    print('数据已保存到文件：', f'{keyword}.csv')

这段代码将数据写入一个CSV文件中，包括种子名、磁力链接、文件大小和日期等信息。

结论

通过这个简单的Python爬虫程序，您可以轻松地获取BT种子资源并进行基本的分析。这对于那些希望找到特定内容的用户来说是非常有用的。请记住，在使用爬虫时要遵守网站的规定和法律法规。

希望这个教程对您有所帮助，让您更好地理解如何使用Python进行网页爬取和数据分析。

注意：本教程仅供学习和参考，不鼓励或支持任何侵犯版权或非法行为。请在合法的范围内使用爬虫技术。

在今天的教程中，我们将学习如何使用Python编写一个小工具，用于获取本机和局域网中设备的IP地址和MAC地址。这个工具可以在网络维护和故障排除时非常有用，同时也是自由职业者提高效率的好帮手。通过本教程，您将了解如何使用Python来执行网络命令、解析命令输出，并将结果保存到文本文件中。

准备工作

在开始之前，确保您已经安装了以下两个Python库：

• win32api：用于弹出Windows消息框。
• win32con：用于定义Windows消息框的样式。

您可以使用以下命令来安装这两个库：

pip install pypiwin32

编写Python脚本

我们将编写一个Python脚本，它执行以下任务：

1. 获取本机的IP地址和MAC地址。
2. 获取局域网中其他设备的IP地址和MAC地址。
3. 将获取到的结果保存到文本文件中。
4. 弹出一个Windows消息框，提醒用户结果已保存。

以下是完整的Python代码：

import os
import win32api
import win32con

def msgbox(msg, title='提醒'):
    win32api.MessageBox(0, msg, title, win32con.MB_OK)

def local_ip_mac():  # 本机IP和MAC
    output = os.popen('ipconfig /all')
    for i in output:
        if '物理地址.' in i:
            mac = i.split(':')[1].strip()
        if 'IPV4' in i.upper() and '(' in i:
            ip = i.split(':')[1].split('(')[0].strip()
    if ip and mac:
        return [ip, mac]

def lan_ip_mac():  # 局域网IP和MAC
    ls = []
    output = os.popen('arp -a')
    for i in output:
        if '动态' in i:
            ip, mac, _ = i.strip().split()
            ls.append([ip, mac])
    return ls

if __name__ == '__main__':
    res = lan_ip_mac()
    res.append(local_ip_mac())
    print(res)

    # 结果写入文本
    txt = 'ip_mac.txt'
    out_txt = '\n'.join(['\t'.join(i) for i in res])
    with open(txt, 'w') as f:
        f.write(out_txt)

    msgbox(f'提取结果已保存到：{txt}')  # 注释掉此行则不弹窗提醒

运行脚本

现在，将上述代码保存为一个Python文件，然后运行它。脚本将执行获取本机和局域网IP地址与MAC地址的任务，并将结果保存到名为”ip_mac.txt”的文本文件中。如果您不需要弹出Windows消息框提醒，可以将msgbox函数的调用行注释掉。

结束语

通过这个简单的教程，您学会了如何使用Python编写一个小工具，用于获取本机和局域网中设备的IP地址和MAC地址。这个工具对于网络管理和自由职业者的日常工作都非常有用。希望这个教程对您有所帮助，祝您在自由职业生涯中取得成功！