scrapy mysql 不重复

Scrapy与MySQL数据不重复的实现

引言

Scrapy是一个强大的Python爬虫框架，而MySQL是一个流行的关系型数据库。在使用Scrapy进行数据爬取时，我们通常需要将爬取到的数据保存到MySQL数据库中。然而，为了保证数据的准确性和一致性，我们需要避免将重复的数据插入到数据库中。本文将介绍如何使用Scrapy和MySQL实现数据不重复的存储。

整体流程

以下是实现Scrapy与MySQL数据不重复的整体流程。

接下来，我们将逐步介绍每个步骤需要做什么，以及需要使用的代码。

步骤1：创建Scrapy项目

首先，我们需要创建一个新的Scrapy项目。在命令行中执行以下命令：

scrapy startproject scrapy_mysql_example

这将创建一个名为scrapy_mysql_example的项目文件夹。

步骤2：配置MySQL连接信息

在Scrapy项目中，我们需要配置MySQL数据库的连接信息。在项目文件夹中找到settings.py文件，添加以下代码：

# MySQL数据库连接信息
MYSQL_HOST = 'localhost'
MYSQL_PORT = 3306
MYSQL_DATABASE = 'mydatabase'
MYSQL_USER = 'myuser'
MYSQL_PASSWORD = 'mypassword'

请根据你的MySQL数据库配置进行相应的修改。

步骤3：定义Item和Pipeline

在Scrapy中，我们使用Item来定义要爬取的数据结构，使用Pipeline来处理爬取到的数据。在项目文件夹中找到items.py文件，添加以下代码：

import scrapy

class MyItem(scrapy.Item):
    # 定义Item字段
    field1 = scrapy.Field()
    field2 = scrapy.Field()
    # ...

这里我们只定义了两个字段，你可以根据实际需要添加更多字段。

接下来，在项目文件夹中找到pipelines.py文件，添加以下代码：

import hashlib
import MySQLdb

from scrapy.exceptions import DropItem
from scrapy.utils.project import get_project_settings

class MySQLPipeline(object):
    def __init__(self):
        settings = get_project_settings()
        self.db = MySQLdb.connect(
            host=settings['MYSQL_HOST'],
            port=settings['MYSQL_PORT'],
            db=settings['MYSQL_DATABASE'],
            user=settings['MYSQL_USER'],
            passwd=settings['MYSQL_PASSWORD'],
            charset='utf8',
            use_unicode=True
        )
        self.cursor = self.db.cursor()
        self.table_name = 'mytable'  # 替换为你要插入的表名

    def process_item(self, item, spider):
        # 计算Item的哈希值
        item_hash = hashlib.md5(str(item).encode('utf-8')).hexdigest()
        # 查询数据库中是否已存在相同哈希值
        query = "SELECT COUNT(*) FROM {0} WHERE hash='{1}'".format(self.table_name, item_hash)
        self.cursor.execute(query)
        count = self.cursor.fetchone()[0]
        # 如果存在，丢弃该Item
        if count > 0:
            raise DropItem("Duplicate item found: %s" % item)
        # 否则，插入数据库
        query = "INSERT INTO {0} (field1, field2) VALUES (%s, %s)".format(self.table_name)  # 根据字段名称修改
        self.cursor.execute(query, (item['field1'], item['field2']))  # 根据字段名称修改
        self.db.commit()
        return item

请注意，我们在MySQLPipeline中使用了哈希值来判断Item是否重复。如果哈希值已存在于数据库中，我们将丢弃该Item；否则，我们将将其插入到数据库中。

步骤4：实现去重逻辑

在Scrapy中，每个爬虫（Spider）都有一个关联的Pipeline，用于处理爬取到的数据。在项目文件夹中找到settings.py文件，找到ITEM_PIPELINES设置项，并将'scrapy_mysql_example.pipelines.MySQLPipeline'添加到列表中：

ITEM_PIPELINES = {
    'scrapy_mysql_example.pipelines.MySQLPipeline': 300,
}

这样，当