パフォーマンスの最適化: バッチ挿入の処理速度を向上させる方法

2024-04-02

MySQLでバッチ挿入を行う方法

バッチ挿入を行うには、以下の3つの方法があります。

LOAD DATA INFILE ステートメントは、テキストファイルからデータを直接MySQLテーブルに挿入するのに役立ちます。この方法は、データ量が非常に大きい場合に特に有効です。

例：

LOAD DATA INFILE '/path/to/file.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(column_name1, column_name2, ...);

INSERT INTO ... VALUES ... ステートメントは、複数のデータをまとめて挿入するのに役立ちます。この方法は、データ量が比較的少ない場合に適しています。

INSERT INTO table_name (column_name1, column_name2, ...)
VALUES ('value1', 'value2', ...),
       ('value3', 'value4', ...),
       ...;

プログラミング言語を使用する

PythonやJavaなどのプログラミング言語を使用して、バッチ挿入を行うこともできます。この方法は、より柔軟な処理が可能で、複雑なデータ処理にも対応できます。

import mysql.connector

# データベースへの接続
connection = mysql.connector.connect(
    host='localhost',
    user='root',
    password='password',
    database='database_name'
)

# データの挿入
cursor = connection.cursor()
cursor.executemany("""
    INSERT INTO table_name (column_name1, column_name2, ...)
    VALUES (%s, %s, ...)
""", [(value1, value2, ...), (value3, value4, ...), ...])

# コミット
connection.commit()

# 接続のクローズ
cursor.close()
connection.close()

バッチ挿入を行う際の注意点

データファイルの形式とカラムの順序が一致していることを確認する必要があります。
データ型が正しく設定されていることを確認する必要があります。
NULL値を挿入する場合は、NULLを明示的に指定する必要があります。
大量のデータを挿入する場合は、トランザクションを使用することで、処理速度を向上させることができます。

バッチ挿入は、MySQLで大量のデータを効率的に挿入するのに最適な方法です。上記の方法を参考に、状況に合わせて適切な方法を選択してください。

ファイル名：data.csv

id,name,age
1,John Doe,30
2,Jane Doe,25
3,Peter Smith,40

ファイル名：insert.sql

LOAD DATA INFILE '/path/to/data.csv'
INTO TABLE users
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(id, name, age);

実行方法

MySQLサーバーを起動します。
コマンドプロンプトを開き、insert.sql ファイルがあるディレクトリに移動します。
以下のコマンドを実行します。

mysql -u root -p password database_name < insert.sql

上記のコマンドを実行すると、data.csv ファイルのデータが users テーブルに挿入されます。

INSERT INTO ... VALUES ... ステートメントを使用したサンプルコード:

INSERT INTO users (id, name, age)
VALUES (1, 'John Doe', 30),
       (2, 'Jane Doe', 25),
       (3, 'Peter Smith', 40);

Pythonを使用したサンプルコード:

import mysql.connector

# データベースへの接続
connection = mysql.connector.connect(
    host='localhost',
    user='root',
    password='password',
    database='database_name'
)

# データの挿入
cursor = connection.cursor()
cursor.executemany("""
    INSERT INTO users (id, name, age)
    VALUES (%s, %s, %s)
""", [(1, 'John Doe', 30), (2, 'Jane Doe', 25), (3, 'Peter Smith', 40)])

# コミット
connection.commit()

# 接続のクローズ
cursor.close()
connection.close()