Category: 技术折腾

在数据科学和分析领域，获取和存储数据是至关重要的一步。本教程将介绍如何使用Python编程，从一个网站获取双色球（SSQ）彩票的历史数据，并将这些数据存入MySQL数据库。这个教程将向您展示如何使用Python的Requests库来获取数据，以及如何使用Pymysql库将数据存入数据库中。这是一个非常实用的示例，可以帮助您了解如何从网站爬取数据并进行数据库操作。

准备工作

在开始之前，您需要确保已经安装了以下Python库：

• Requests：用于发送HTTP请求和获取网页内容。
• Pymysql：用于与MySQL数据库交互。

您可以使用以下命令来安装这些库：

pip install requests pymysql

此外，您还需要拥有一个MySQL数据库，并知道连接数据库所需的主机、用户名和密码。在教程的后续部分，我们将向数据库插入数据。

获取彩票数据

首先，我们需要从一个网站获取双色球彩票的历史数据。我们将使用Python的Requests库来发送HTTP POST请求，并将响应解析为JSON格式。以下是获取数据的代码示例：

import requests
import json

headers ={
    'Content-Type': 'application/json',
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
}

data ={
    "limit": 20,
    "page": 1,
    "params": {}
}

resp = requests.post('https://ms.zhcw.com/proxy/lottery-chart-center/history/SSQ', headers=headers, data=json.dumps(data))
result = json.loads(resp.text)['datas']

在上述代码中，我们发送了一个HTTP POST请求到指定的URL，并将响应解析为JSON格式。这个URL包含了彩票数据的API端点，您可以根据需要修改URL来获取不同的数据。

处理彩票数据

接下来，我们需要处理从网站获取的彩票数据，以便将其存入数据库。我们将数据存储在一个列表中，每个元素都代表一期彩票的信息，包括期号、开奖日期、星期几以及中奖号码。我们还对数据进行了排序，以确保按期号的顺序存入数据库。

def historyData():
    h_data_list = []
    for i in range(len(result)):
        issue = result[i]['issue']
        openDate = result[i]['openDate']
        week = result[i]['week']
        winningFrontNum = result[i]['winningFrontNum']
        winningBackNum = result[i]['winningBackNum']
        h_data_list.append([issue, openDate, week,winningFrontNum,winningBackNum])
    h_data_list = sorted(h_data_list, key=lambda x: x[0])  # 从小到大排序

连接数据库并创建表

现在，我们将使用Pymysql库来连接到MySQL数据库，并创建一个表来存储彩票数据。在下面的代码示例中，您需要替换掩码字符（****）为您的数据库主机、用户名和密码。

import pymysql

# 连接数据库
conn = pymysql.connect(host='****', user='root', password='***', db='mysql')
cursor = conn.cursor()

# 创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS ssq_lottery_history
                  (id INT PRIMARY KEY AUTO_INCREMENT,
                   issue VARCHAR(20),
                   openDate VARCHAR(20),
                   week VARCHAR(20),
                   winningFrontNum VARCHAR(20),
                   winningBackNum VARCHAR(20)
                   )''')

在上述代码中，我们使用Pymysql库连接到数据库，并执行SQL语句来创建表格。如果表格已经存在，它将不会被重新创建。

插入数据到数据库

现在，我们将彩票数据插入到数据库表中。以下是将数据插入数据库的代码示例：

# 向表中插入数据
for item in h_data_list:
    cursor.execute('''INSERT INTO ssq_lottery_history (issue, openDate, week,winningFrontNum,winningBackNum)
                      VALUES (%s, %s, %s, %s, %s)''', (item[0], item[1], item[2], item[3], item[4]))
print("存入数据库成功")
# 提交数据并关闭连接
conn.commit()
cursor.close()
conn.close()

在上述代码中，我们使用循环遍历彩票数据列表，并将每一项数据插入到数据库表中。然后，我们提交更改并关闭数据库连接。

运行脚本

最后，您可以运行这个Python脚本来获取彩票数据并将其存入数据库。确保您已经准备好了数据库，并且在运行脚本之前替换了数据库连接的主机、用户名和密码。

if __name__ == '__main__':
    historyData()

结论

通过本教程，您学会了如何使用Python编程从网站获取彩票数据，并将其存入MySQL数据库。这是一个实际的应用示例，可以帮助您了解如何使用Python的Requests库和Pymysql库来处理网络数据和数据库操作。希望这个教程对您有所帮助，让您能够更好地处理和管理数据。

请注意：本教程仅供学习和参考，不鼓励或支持任何侵犯法律或道德准则的行为。请在合法范围内使用Python编程技术。

在今天的教程中，我将向您介绍如何使用Python编写一个简单的网络爬虫，用于从百度贴吧中获取帖子内容。这个教程将帮助您了解如何使用Python的requests库和BeautifulSoup库来获取网页内容，以及如何将爬取到的数据保存到本地文件中。如果您是一个对网络爬虫和数据获取有兴趣的自由职业者，这个教程可能会对您有所帮助。

1. 准备工作

在开始之前，您需要确保已经安装了以下Python库：

• requests：用于发送HTTP请求以获取网页内容。
• BeautifulSoup：用于解析HTML网页内容。

您可以使用以下命令来安装这些库：

pip install requests
pip install beautifulsoup4

2. 编写爬虫代码

首先，让我们编写一个Python脚本来获取百度贴吧的帖子内容。以下是完整的代码：

import requests
import time
from bs4 import BeautifulSoup

def get_content(url):
    '''
    分析贴吧的网页文件，整理信息，保存在列表变量中
    '''

    # 初始化一个列表来保存所有的帖子信息：
    comments = []
    # 使用request请求所需url
    html = requests.get(url)

    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(html.text, 'lxml')

    # 找到所有具有‘j_thread_list clearfix’属性的li标签
    liTags = soup.find_all('li', attrs={"class":['j_thread_list', 'clearfix']})

    # 循环遍历li标签
    for li in liTags:
        # 初始化一个字典来存储帖子信息
        comment = {}
        try:
            # 筛选信息，并保存到字典中
            comment['title'] = li.find('a', attrs={"class": ['j_th_tit']}).text.strip()
            comment['link'] = "tieba.baidu.com/" + li.find('a', attrs={"class": ['j_th_tit']})['href']
            comment['name'] = li.find('span', attrs={"class": ['tb_icon_author']}).text.strip()
            comment['time'] = li.find('span', attrs={"class": ['pull-right is_show_create_time']}).text.strip()
            comment['replyNum'] = li.find('span', attrs={"class": ['threadlist_rep_num center_text']}).text.strip()
            comments.append(comment)
        except:
            print('出了点小问题')

    return comments

def Out2File(comments):
    '''
    将爬取到的文件写入到本地
    保存到当前目录的TTBT.txt文件中。
    '''
    with open('TTBT.txt', 'a+', encoding='utf-8') as f:
        for comment in comments:
            f.write('标题：{} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量：{} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
        print('当前页面爬取完成')

def main(base_url, deep):
    url_list = []
    # 将所有需要爬取的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    # 循环写入所有的数据
    for url in url_list:
        print(f"开始爬取：{url}")
        content = get_content(url)
        print(content)
        Out2File(content)
        time.sleep(5)
    print('所有的信息都已经保存完毕！')

base_url = 'https://tieba.baidu.com/f?ie=utf-8&kw=亚运会'
# 设置需要爬取的页码数量
deep = 3

if __name__ == '__main__':
    main(base_url, deep)

3. 运行爬虫

现在，让我们来运行这个爬虫脚本。将上述代码保存为一个Python文件，然后运行它。脚本将会爬取百度贴吧关于”亚运会”的帖子内容，并将数据保存到名为”TTBT.txt”的文本文件中。

4. 结束语

通过这个简单的教程，您学会了如何使用Python编写一个基本的网络爬虫，用于获取百度贴吧的帖子内容。这只是网络爬虫的入门，您可以进一步探索和学习更多高级的爬虫技巧，以满足您的自由职业需求。

在日常生活中，我们经常需要处理各种银行账单，包括信用卡账单、储蓄账户账单等。而Beancount是一种强大的财务记账工具，可以帮助我们有效地管理和跟踪财务交易。本教程将向您展示如何将不同银行的账单转换为Beancount格式，以便更好地管理个人财务。

背景故事

假设您有多个银行账户，每月都会收到不同银行的账单。这些账单可能以不同的格式和结构呈现，使您难以一目了然地了解自己的财务状况。同时，您可能还希望将这些财务数据记录到Beancount中，以便轻松生成财务报表和分析您的支出。

因此，本教程将介绍如何使用Python编程语言来处理不同银行的账单，并将其转换为Beancount格式，使您能够更轻松地管理个人财务。

准备工作

在开始之前，您需要准备以下工作：

1. 确保您已经安装了Python编程语言。

2. 确保您已经安装了以下Python库：

   • pandas：用于处理和分析数据。
   • numpy：用于数值计算。
   • os：用于文件和目录操作。
   • re：用于正则表达式操作。

3. 从您的银行获取账单文件，可以是Excel格式或CSV格式。

教程步骤

本教程将分为以下几个步骤来实现将银行账单转换为Beancount格式：

步骤一：导入所需库和设置文件路径

首先，我们需要导入所需的Python库，并设置输入文件的路径、银行名称以及输出文件的路径。以下是示例代码：

import os
import re
import pandas as pd
import numpy as np

# 获取当前文件夹路径
dir = os.path.dirname(os.path.abspath(__file__))

# 输入文件路径，可以手动输入或从命令行获取
input_file = input("输入账单路径：")

# 输入账单归属银行（目前支持CCB、CMB、SRCB、ABC）
bank = input("输入账单归属银行[CCB、CMB、SRCB、ABC]：")

# 输出文件路径
output_file = dir + "\\" + bank + ".bean"

# 配置文件路径
config_file = dir + "\\config\\" + bank + ".conf"

在这个步骤中，我们首先获取当前文件夹的路径，然后要求用户输入账单文件的路径和账单归属银行。最后，我们定义了输出文件的路径和配置文件的路径。

步骤二：整理银行账单数据

接下来，我们需要根据不同银行的账单格式，编写相应的数据整理函数。我们这里以建设银行（CCB）和招商银行（CMB）为例。

CCB账单整理

# CCB账单excel的整理
def CCB_data(_file_):
    data = pd.read_excel(_file_)
    data.columns = ["No", "text0", "CCY", "Yuan", "time", "cost", "bal", "text1", "text2"]
    data = data.iloc[2:]
    data["time"] = pd.to_datetime(data["time"]).astype(str)
    data.loc[:, "account"] = data["text0"] + ":" + data["text2"]
    data["CCY"] = data["CCY"].replace("人民币元", "CNY")
    data = data[["time", "cost", "CCY", "account", "text0", "text1", "text2"]]
    return data

CMB账单整理

# CMB账单csv的整理
def CMB_data(_file_):
    data = pd.read_csv(_file_)
    data.columns = ["time", "CCY", "cost", "bal", "text0", "text2"]
    data["time"] = pd.to_datetime(data["time"]).astype(str)
    data["cost"] = data["cost"].astype(str)
    data.loc[:, "text1"] = None
    data.loc[:, "account"] = data["text0"] + ":" + data["text2"]
    data = data[["time", "cost", "CCY", "account", "text0", "text1", "text2"]]
    return data

在这两个函数中，我们分别处理了建设银行和招商银行的账单数据，整理成统一的数据格式，包括时间、金额、货币代码、账户信息等。

步骤三：关键字查找和替换

接下来，我们需要根据配置文件中的关键字，对账单中的账户信息进行查找和替换。这可以帮助我们将不同的账户信息映射到统一的账户名称。

# 关键字查找替换
def replace(_data_, _config_):
    conf = pd.read_csv(_config_)
    for conf in conf.itertuples():
        _data_ = _data_.str.replace(".*" + conf[1] + ".*", conf[2], regex=True)
    return _data_

在这个函数中，我们读取了配置文件中的关键字和对应的替换值，然后使用正则表达式在账单数据中进行查找和替换操作。

步骤四：生成Beancount格式的字段

最后，我们将整理后的账单数据转换为Beancount格式的字段，以便后续导入到Beancount中。以下是生成Beancount字段的函数：

# 输出beancount格式的字段
def to_bean(_data_):
    global bank
    bean = _data_["time"] + ' * \"' + _data_["text

0"] + '\"\n\t'
    if _data_["text1"].notnull().any():
        bean = bean + 'notes: \"' + _data_["text1"] + '\"\n\t' 
    bean = bean + 'id: \"' + _data_["text2"] + '\"\n\t'
    bean = bean + "Assets:Bank:" + bank + " " + _data_["cost"] + " " + _data_["CCY"] + "\n\t"
    bean = bean + _data_["account"] + "\n"

    return bean

在这个函数中，我们根据Beancount的格式规范，构建了包括时间、交易描述、备注、账户信息、金额和货币代码的字段。

步骤五：导出Beancount文件

最后一步是将生成的Beancount字段写入到输出文件中，以完成账单转换操作。

# 整理为beancount格式
if bank == "CCB":
    DATA = CCB_data(input_file)
if bank == "CMB":
    DATA = CMB_data(input_file)

# 按conf文件查找替换关键字
DATA["account"] = replace(DATA["account"], config_file)

# 整理为beancount格式的字段
bean = to_bean(DATA).to_frame()

# 输出Beancount文件
for bean in bean.itertuples():
    text = text + str(bean[1]) + "\n"

file = open(output_file, 'w')
file.write(text)
file.close()

在这个步骤中，我们根据用户输入的银行名称选择相应的账单整理函数，然后进行关键字查找和替换操作，最后生成Beancount字段并导出到文件中。

结语

通过本教程，您学会了如何将不同银行的账单转换为Beancount格式，从而更好地管理个人财务。这将帮助您轻松跟踪支出、生成财务报表，并更好地了解自己的财务状况。