.NETでCSVデータをデータベースに直接送信する方法！（MySQL & JSONを活用）

2024-05-22

CSVデータをメモリからデータベースへ送信する方法（.NET, MySQL, JSON)

本記事では、.NETを使用してCSVデータをメモリからデータベースへ直接送信する方法を、MySQLデータベースとJSONフォーマットを用いて解説します。ディスクへの保存を介さずにデータ転送を実現することで、処理速度の向上とデータの一貫性を保ちます。

前提知識

.NET Framework または .NET Core の基本的な知識
MySQLデータベースへの接続と操作方法
JSONデータの構造と操作方法

手順

CSVデータの読み込みとメモリへの格納

CSVファイルをStreamReaderオブジェクトを使用して読み込み、各行をList<string>型変数に格納します。

List<string> csvData = new List<string>();
using (StreamReader reader = new StreamReader("data.csv"))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        csvData.Add(line);
    }
}

CSVデータをJSON形式に変換

List<string>内の各行を、カンマ区切りで分割した配列に変換します。その後、配列をJSONオブジェクトに変換し、文字列として保持します。

List<object[]> jsonData = new List<object[]>();
foreach (string line in csvData)
{
    string[] row = line.Split(',');
    jsonData.Add(row);
}

string jsonString = JsonConvert.SerializeObject(jsonData);

JSONデータをMySQLデータベースへ挿入

MySQLデータベースへの接続を確立し、INSERTステートメントを使用してJSONデータを挿入します。

using (MySqlConnection connection = new MySqlConnection("server=localhost;database=myDatabase;uid=myUser;password=myPassword"))
{
    connection.Open();

    using (MySqlCommand command = new MySqlCommand("INSERT INTO myTable (data) VALUES (@data)", connection))
    {
        command.Parameters.AddWithValue("@data", jsonString);
        command.ExecuteNonQuery();
    }

    connection.Close();
}

補足

上記の手順はあくまで一例であり、使用するライブラリやデータベースの種類によって変更が必要になる場合があります。
大量のデータ転送を行う場合は、パフォーマンスとメモリ使用量を考慮する必要があります。
データベースのスキーマとCSVファイルの構造が一致していることを確認してください。
エラー処理と例外処理を適切に行うようにしてください。

.NETを使用してCSVデータをメモリからデータベースへ直接送信することで、処理速度の向上とデータの一貫性を保つことができます。上記の手順を参考に、具体的な実装を行ってみてください。

サンプルコード（.NET, MySQL, JSON）

List<string> csvData = new List<string>();
using (StreamReader reader = new StreamReader("data.csv"))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        csvData.Add(line);
    }
}

List<object[]> jsonData = new List<object[]>();
foreach (string line in csvData)
{
    string[] row = line.Split(',');
    jsonData.Add(row);
}

string jsonString = JsonConvert.SerializeObject(jsonData);

using (MySqlConnection connection = new MySqlConnection("server=localhost;database=myDatabase;uid=myUser;password=myPassword"))
{
    connection.Open();

    using (MySqlCommand command = new MySqlCommand("INSERT INTO myTable (data) VALUES (@data)", connection))
    {
        command.Parameters.AddWithValue("@data", jsonString);
        command.ExecuteNonQuery();
    }

    connection.Close();
}

上記のコードは、以下の変数を想定しています。
- data.csv: CSVファイルのパス
- myDatabase: MySQLデータベースの名前
- myUser: MySQLデータベースのユーザー名
必要に応じて、変数の値を変更してください。
エラー処理と例外処理を追加することを推奨します。

CSVデータをメモリからデータベースへ送信するその他の方法（.NET, MySQL, JSON)

CSVデータをメモリ上のバッファに読み込み、バッファの内容を直接データベースへ送信します。
ディスクへの保存を完全に回避でき、より高速な処理が可能です。

コード例

using (MySqlConnection connection = new MySqlConnection("server=localhost;database=myDatabase;uid=myUser;password=myPassword"))
{
    connection.Open();

    using (MySqlCommand command = new MySqlCommand("INSERT INTO myTable (data) VALUES (@data)", connection))
    {
        using (BufferedStream stream = new BufferedStream(File.OpenRead("data.csv")))
        {
            byte[] buffer = new byte[1024];
            int bytesRead;

            while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
            {
                command.Parameters.AddWithValue("@data", buffer);
                command.ExecuteNonQuery();
            }
        }
    }

    connection.Close();
}

DataTableを使用した方法

CSVデータをDataTableオブジェクトに変換し、DataTableオブジェクトを直接データベースへ送信します。
DataTableはデータ操作に便利な機能を提供しており、複雑なデータ構造を扱う場合に有効です。

using (DataTable table = new DataTable())
{
    using (StreamReader reader = new StreamReader("data.csv"))
    {
        string line;
        string[] columns = reader.ReadLine().Split(',');

        foreach (string column in columns)
        {
            table.Columns.Add(column);
        }

        while ((line = reader.ReadLine()) != null)
        {
            string[] row = line.Split(',');
            table.Rows.Add(row);
        }
    }

    using (MySqlConnection connection = new MySqlConnection("server=localhost;database=myDatabase;uid=myUser;password=myPassword"))
    {
        connection.Open();

        using (MySqlBulkLoader bulkLoader = new MySqlBulkLoader(connection))
        {
            bulkLoader.DestinationTableName = "myTable";
            bulkLoader.LoadDataTable(table);
        }

        connection.Close();
    }
}

LINQ to SQLを使用した方法

CSVデータをLINQ to SQLクエリに変換し、クエリを直接データベースへ実行します。
オブジェクト指向の開発に適しており、コードの可読性とメンテナンス性を向上させることができます。

using (DataContext context = new DataContext("server=localhost;database=myDatabase;uid=myUser;password=myPassword"))
{
    using (StreamReader reader = new StreamReader("data.csv"))
    {
        string line;
        string[] columns = reader.ReadLine().Split(',');

        var table = new Table<MyData>(context);

        while ((line = reader.ReadLine()) != null)
        {
            string[] row = line.Split(',');
            var data = new MyData();

            for (int i = 0; i < columns.Length; i++)
            {
                data.SetValue(columns[i], row[i]);
            }

            table.InsertOnSubmit(data);
        }

        context.SubmitChanges();
    }
}

class MyData
{
    public int Id { get; set; }
    public string Data { get; set; }

    public void SetValue(string columnName, string value)
    {
        switch (columnName)
        {
            case "data":
                Data = value;
                break;
            default:
                throw new ArgumentException("Unknown column name: " + columnName);
        }
    }
}