Raspberry Pi2でMariaDBにCSVデータをロードする3つの方法

2024-06-22

Raspberry Pi2でMariaDBにCSVデータをロードする方法

前提条件:

Raspberry Pi2にMariaDBがインストールされていること
ロードするCSVファイルが用意されていること

手順:

MariaDBにログイン
```
sudo mysql -u root -p
```
CSVファイルの形式を確認
以下のコマンドを使用して、CSVファイルの列挙限数とデータ型を確認します。
```
DELIMITER = ',';
SELECT *
FROM `your_csv_file.csv`
LIMIT 1;
```
出力結果を確認し、列挙限数とデータ型がMariaDBテーブルの定義と一致していることを確認します。
MariaDBテーブルを作成
以下のコマンドを使用して、CSVファイルのデータに対応するMariaDBテーブルを作成します。
```
CREATE TABLE `your_table_name` (
    `column1` data_type,
    `column2` data_type,
    ...
);
```
your_table_nameを実際のテーブル名に置き換え、column1、column2を実際の列名に置き換えます。また、data_typeを実際のデータ型に置き換えます。
CSVファイルをロード
```
LOAD DATA LOCAL INFILE '/path/to/your_csv_file.csv'
INTO TABLE `your_table_name`
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES;
```
/path/to/your_csv_file.csvを実際のCSVファイルのパスに置き換え、your_table_nameを実際のテーブル名に置き換えます。
データのロードを確認
```
SELECT * FROM `your_table_name`;
```

補足:

LOCAL INFILE句を使用すると、MariaDBサーバーにファイルをアップロードせずに、クライアントマシンにあるファイルから直接データをロードできます。
FIELDS TERMINATED BY句とLINES TERMINATED BY句を使用して、CSVファイルの区切り文字を指定します。
IGNORE 1 LINES句を使用して、CSVファイルの最初の行をヘッダー行として無視します。

注意事項:

上記の手順は、Raspberry Pi2でMariaDBを実行する場合の一般的なものです。使用するMariaDBのバージョンやCSVファイルの形式によっては、手順が異なる場合があります。
データをロードする前に、必ずバックアップを取っておいてください。

name,age,city
Taro,10,Tokyo
Jiro,15,Osaka
Hanako,20,Kyoto

CREATE TABLE `students` (
    `name` varchar(255),
    `age` int,
    `city` varchar(255)
);

LOAD DATA LOCAL INFILE '/path/to/students.csv'
INTO TABLE `students`
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

ロードされたデータを確認するコマンド:

SELECT * FROM `students`;

出力結果:

name | age | city
-----+-----+-----
Taro | 10  | Tokyo
Jiro | 15  | Osaka
Hanako | 20  | Kyoto

説明:

上記のサンプルコードでは、students.csvという名前のCSVファイルをstudentsという名前のMariaDBテーブルにロードします。
CSVファイルの区切り文字は,、行区切り文字は\nです。
最初の行はヘッダー行として無視されます。

上記のサンプルコードはあくまでも一例であり、使用する環境やデータに合わせて変更する必要があります。

Raspberry Pi2でMariaDBにCSVデータをロードするその他の方法

MySQL Workbenchは、GUIでMariaDBを操作できるツールです。以下の手順で、CSVファイルをMariaDBテーブルにロードできます。

MySQL Workbenchを起動します。
接続画面で、MariaDBサーバーのホスト名、ユーザー名、パスワードを入力して接続します。
接続したら、左側のナビゲーションツリーからロードしたいデータベースを選択します。
テーブルリストから、ロードしたいテーブルを右クリックし、「データのインポート」を選択します。
インポートウィザードが表示されます。
ファイルの場所、ファイル形式、区切り文字、行区切り文字などを指定します。
「開始」ボタンをクリックすると、CSVファイルがテーブルにロードされます。

Pythonスクリプトを使用する

Pythonには、CSVファイルを操作するライブラリがいくつかあります。以下の例では、csvライブラリを使用して、CSVファイルをMariaDBテーブルにロードするスクリプトを作成します。

import csv
import mysql.connector

# データベース接続情報
db = mysql.connector.connect(
    host="localhost",
    user="root",
    password="password",
    database="your_database_name"
)

# CSVファイルの読み込み
with open('your_csv_file.csv', 'r') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # ヘッダー行をスキップ

    # データベースへの挿入
    cursor = db.cursor()
    for row in reader:
        cursor.execute("INSERT INTO your_table_name (column1, column2, ...) VALUES (%s, %s, ...)", row)
    db.commit()

# データベース接続のクローズ
cursor.close()
db.close()

上記スクリプトを実行するには、以下のコマンドを実行します。

python load_csv_to_mariadb.py

mysqldumpコマンドを使用して、CSVファイルをダンプファイルにエクスポートし、そのファイルをmysqlコマンドを使用してMariaDBテーブルにインポートできます。

以下の例では、students.csvという名前のCSVファイルをstudents.sqlという名前のダンプファイルにエクスポートし、そのファイルをstudentsという名前のMariaDBテーブルにインポートします。

# CSVファイルをダンプファイルにエクスポート
mysqldump -u root -p your_database_name -t --fields-terminated=, --lines-terminated='\n' students > students.sql

# ダンプファイルをインポート
mysql -u root -p your_database_name < students.sql

csv mariadb raspberry-pi2