Comment vérifier par programme la ligne en double avant l'insertion dans la base de données MySQL

Je vous suggère de lire les mots clés INSERT IGNORE , ON DUPLICATE KEY UPDATE pour MySQL, ainsi que de rechercher PRIMARY KEY et UNIQUE contraintes.

Voici un lien rapide qui peut résoudre votre problème: Mysql Gestion des doublons

Si vous avez encore des questions, je peux y répondre.

Je suis encore un débutant en Python, mais je connais les bases de données. Ce que je ferais, c'est d'abord faire une requête SELECT pour vérifier si un enregistrement avec le symbole et la date donnés existe dans la table MySQL, et n'effectuer l'INSERT que si le SELECT a renvoyé 0 lignes. Vous devriez également envisager de faire de ces deux colonnes votre clé primaire pour cette table. Cela garantira qu'aucun doublon n'est inséré (mais l'insertion d'un duplicata peut déclencher une exception qui doit être gérée).

Merci de nous avoir informés de la manière de répondre correctement. J'ai fini par créer une nouvelle fonction appelée check_row et utilisé une instruction de sélection pour vérifier si la ligne existe déjà. Dans cet ensemble de données, je n'ai besoin que de vérifier si une ligne du tableau contient déjà valeur1 (symbole) et valeur2 (date) afin de garder les données exactes. Merci tutiplain de m'avoir indiqué dans cette direction.

import pymysql
import pandas as pd
import sys

ticker_file = 'C:/test.txt'

# Read the text file and add , to the end of the line.
def fun_read_file(ticker_file):
    #load_sql = "LOAD DATA INFILE 'C:/test.txt' INTO TABLE asx FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n';"
    host = 'localhost'
    user = 'user'
    password = 'password'
    db = 'trading'
    with open(ticker_file, 'r') as f:
        for line in f:
            # Do something with 'line'
            stripped = line.strip('\n\r')
            value1,value2,value3,value4,value5,value6,value7 = stripped.split(',')
            print(value1,value2,value3,value4,value5,value6,value7)
            # Call the check_row function
            check_row(host, user, password, db, value1, value2, value3, value4, value5, value6, value7)

# Insert row into table         
def csv_to_mysql(host, user, password, db, value1, value2, value3, value4, value5, value6, value7):
    '''
    This function load a csv file to MySQL table according to
    the load_sql statement.
    '''
    load_sql = 'INSERT INTO asx (Symbol,Date,Open,High,Low,Close,Volume) VALUES (%s, %s, %s, %s, %s, %s, %s)'
    args = [value1, value2, value3, value4, value5, value6, value7]
    try:
        con = pymysql.connect(host=host,
                                user=user,
                                password=password,
                                db=db,
                                autocommit=True,
                                local_infile=1)
        print('Connected to DB: {}'.format(host))
        # Create cursor and execute Load SQL
        cursor = con.cursor()
        cursor.execute(load_sql, args)
        print('Successfully loaded the table from csv.')
        con.close()

    except Exception as e:
        print('Error: {}'.format(str(e)))
        sys.exit(1)

# Check for duplicate row before insertion into table
def check_row(host, user, password, db, value1, value2, value3, value4, value5, value6, value7):
    # Manipulate the value2 (date) string first 20190111 into 2019-01-11
    str_value2 = value2
    year = str_value2[:4]
    day = str_value2[-2:]
    month = str_value2[4:6]
    str_query_value2 = year + '-' + month + '-' + day
    print(str_query_value2)
    # Select statement to query whether row already exists
    query = 'SELECT COUNT(*) from asx WHERE Symbol = %s AND Date = %s'
    args = [value1, str_query_value2]
    try:
        con = pymysql.connect(host=host,
                                user=user,
                                password=password,
                                db=db,
                                autocommit=True,
                                local_infile=1)
        print('Connected to DB: {}'.format(host))
        # Create cursor and execute Load SQL
        cursor = con.cursor()
        cursor.execute(query, args)
        print('Successfully queried the asx table.')
        result = cursor.fetchall()
        print(result)
        # Fetchall method outputs a tuple. Access first item of the first tuple.
        int_result = result[0][0]
        print(int_result)
        con.close()

        if int_result >= 1:
            # Exit this function, 0 means clean exit, 1 means abort
            exit(0)
        else:
            # Call the csv_to_mysql function
            csv_to_mysql(host, user, password, db, value1, value2, value3, value4, value5, value6, value7)

    except Exception as e:
        print('Error: {}'.format(str(e)))
        sys.exit(1)

# Execution the script
fun_read_file(ticker_file)

Voici le code complet ci-dessous.

query = 'SELECT COUNT(*) from asx WHERE Symbol = %s AND Date = %s'
args = [value1, str_query_value2]