sys.sp_copy_data_in_batchesで大量データも楽々！SQL Serverテーブル間データ移行の超効率化

2024-06-22

SQL Server でテーブル間で SQL データを移動する方法

INSERT INTO ステートメント

最も基本的な方法は、INSERT INTO ステートメントを使用して、元のテーブルからデータを新しいテーブルに挿入することです。構文は以下の通りです。

INSERT INTO target_table (column1, column2, ...)
SELECT column1, column2, ...
FROM source_table;

例:

INSERT INTO customers_new (customer_id, first_name, last_name, email)
SELECT customer_id, first_name, last_name, email
FROM customers;

この方法は、シンプルなデータ移動に適しています。

SELECT INTO ステートメントは、INSERT INTO ステートメントと似ていますが、新しいテーブルを作成する際に便利です。構文は以下の通りです。

SELECT *
INTO target_table
FROM source_table;

SELECT *
INTO customers_archive
FROM customers;

この方法は、既存のテーブルのスキーマとは異なる新しいテーブルを作成する場合に役立ちます。

sys.sp_copy_data_in_batches ストアドプロシージャ

大量のデータを効率的に移行する場合には、sys.sp_copy_data_in_batches ストアドプロシージャを使用することができます。このプロシージャは、データをバッチ処理で処理し、トランザクションログのオーバーヘッドを軽減します。

構文は以下の通りです。

EXEC sys.sp_copy_data_in_batches
@source_table_name = N'source_table',
@destination_table_name = N'target_table',
@where_clause = N'WHERE 1=1', -- WHERE 条件 (省略可)
@batch_size = 10000; -- バッチサイズ

EXEC sys.sp_copy_data_in_batches
@source_table_name = N'orders',
@destination_table_name = N'orders_archive',
@where_clause = N'WHERE order_date < '2023-01-01',
@batch_size = 50000;

この方法は、パフォーマンスが重要となる大量のデータ移行に適しています。

その他の考慮事項

データ型: 移動するデータのデータ型が、ターゲットテーブルの列のデータ型と互換性があることを確認してください。
主キー: ターゲットテーブルに主キーがある場合は、元のテーブルの主キー列と同じ列をターゲットテーブルの主キー列として指定する必要があります。
インデックス: データの移行後、ターゲットテーブルにインデックスを作成する必要がある場合があります。
トランザクション: データの整合性を保つために、トランザクションを使用してデータを移動することをお勧めします。

上記以外にも、データの移行方法に関する情報源はたくさんあります。ご自身のニーズに合った方法を選択してください。

SQL Server でテーブル間でデータを移動するサンプルコード

INSERT INTO ステートメント

-- customers テーブルから customers_new テーブルにデータを挿入する

INSERT INTO customers_new (customer_id, first_name, last_name, email)
SELECT customer_id, first_name, last_name, email
FROM customers;

SELECT INTO ステートメント

-- customers テーブルの内容を customers_archive テーブルに新しいテーブルとして作成する

SELECT *
INTO customers_archive
FROM customers;

sys.sp_copy_data_in_batches ストアドプロシージャ

-- orders テーブルから orders_archive テーブルにデータをバッチ処理でコピーする

EXEC sys.sp_copy_data_in_batches
@source_table_name = N'orders',
@destination_table_name = N'orders_archive',
@where_clause = N'WHERE order_date < '2023-01-01',
@batch_size = 50000;

注:

上記のコードはあくまで例であり、ご自身のニーズに合わせて変更する必要があります。
データ型、主キー、インデックス、トランザクションなどの考慮事項については、前の回答を参照してください。

SQL Server でテーブル間でデータを移動するその他の方法

bcp ユーティリティは、コマンドラインツールを使用して、SQL Server テーブルとテキストファイル間でデータをエクスポートおよびインポートすることができます。大規模なデータセットを移動する場合に便利です。

bcp customers out customers.txt -c "," -T
bcp customers.txt in customers_new -c "," -T

SSIS パッケージ

SQL Server Integration Services (SSIS) パッケージは、複雑なデータ移行タスクを自動化するために使用できるグラフィカルツールです。データの変換、フィルタリング、ロードなどを含む、複数ステップのワークフローを作成することができます。

.NET Framework または ADO.NET

C# などの .NET Framework プログラミング言語を使用して、SQL Server テーブル間でデータを移動するカスタムアプリケーションを開発することができます。ADO.NET は、.NET Framework が SQL Server とデータをやり取りするためのデータアクセスライブラリです。

サードパーティ製ツール

データ移行を専門とするサードパーティ製ツールが多数あります。これらのツールは、さまざまな機能を提供し、複雑な移行シナリオを処理するのに役立ちます。

選択方法

最適な方法は、データの量、複雑性、および要件によって異なります。

少量のデータを移行する場合: INSERT INTO または SELECT INTO ステートメントが簡単なオプションです。
大規模なデータセットを移行する場合: bcp ユーティリティ、SSIS パッケージ、またはサードパーティ製ツールを使用すると、パフォーマンスとスケーラビリティが向上します。
複雑なデータ移行タスクがある場合: SSIS パッケージまたは .NET Framework を使用すると、柔軟性と制御性が向上します。

sql sql-server