PostgreSQLでCSVファイルをテーブルにインポートする方法：特定の列のみをインポート

2024-04-18

PostgreSQLでCSVファイルから特定の列をテーブルにコピーする方法

手順

CSVファイルを読み込む

COPY my_table (column1, column2, ...)
FROM 'path/to/my_file.csv'
DELIMITER ','
CSV HEADER;

このコマンドでは、my_file.csv ファイルから column1、column2 などの列を my_table テーブルに読み込みます。

DELIMITER ',': CSVファイルの区切り文字を指定します。デフォルトはカンマです。
CSV HEADER: CSVファイルの最初の行にヘッダーがあることを示します。

必要な列のみを選択する

COPY コマンドを使って、CSVファイルから必要な列のみを選択することもできます。

COPY my_table (column1, column2, ...)
SELECT column1, column2, ...
FROM 'path/to/my_file.csv'
DELIMITER ','
CSV HEADER;

エラー処理

COPY コマンドは、エラーが発生すると処理を停止します。エラー処理を行う場合は、以下の方法があります。

ON ERROR CONTINUE: エラーが発生しても処理を続けます。
ON ERROR SKIP: エラーが発生した行はスキップして処理を続けます。
ON ERROR: エラーが発生したときに実行するSQL文を指定します。

例

CREATE TABLE my_table (
  id SERIAL PRIMARY KEY,
  name VARCHAR(255),
  email VARCHAR(255)
);

COPY my_table (name, email)
FROM 'path/to/my_file.csv'
DELIMITER ','
CSV HEADER
ON ERROR SKIP;

この例では、my_file.csv ファイルから name と email 列のみを選択して my_table テーブルに読み込みます。エラーが発生した行はスキップされます。

注意事項

CSVファイルの列名とテーブルの列名は大文字小文字を区別します。
CSVファイルの列の型とテーブルの列の型が一致する必要があります。
CSVファイルにNULL値が含まれている場合は、NULL として扱われます。

PostgreSQLでCSVファイルから特定の列をテーブルにコピーするサンプルコード

状況

my_data.csv という名前のCSVファイルがあり、以下の列が含まれています。
- id, name, email, age
users という名前のテーブルがあり、以下の列が含まれています。
- id (SERIAL PRIMARY KEY)
- name (VARCHAR(255))

コード

-- usersテーブルを作成する
CREATE TABLE users (
  id SERIAL PRIMARY KEY,
  name VARCHAR(255),
  email VARCHAR(255)
);

-- my_data.csvファイルからnameとemail列をusersテーブルにコピーする
COPY users (name, email)
FROM 'my_data.csv'
DELIMITER ','
CSV HEADER;

説明

このコードは以下の処理を行います。

users テーブルを作成します。
my_data.csv ファイルから name と email 列を users テーブルにコピーします。

実行方法

PostgreSQLクライアントを開きます。
上記のコードを貼り付けて実行します。

注意事項

上記のコードは、PostgreSQL 10以降で使用できます。
CSVファイルとテーブルの列名が一致していることを確認してください。

このコードは、CSVファイルから特定の列をテーブルにコピーするための基本的な例です。
より複雑な処理を行う場合は、COPY コマンドのオプションや、PostgreSQLの他の機能を使用することができます。

PostgreSQLでCSVファイルから特定の列をテーブルにコピーするその他の方法

psql コマンドは、PostgreSQLデータベースと対話するためのインタラクティブなツールです。psql コマンドを使用して、以下のコマンドを実行できます。

\copy my_table (column1, column2, ...) FROM 'path/to/my_file.csv' DELIMITER ',' CSV HEADER;

このコマンドは、前述のCOPYコマンドと同じように動作します。

Pythonスクリプトを使用する

Pythonを使用して、CSVファイルを処理し、PostgreSQLデータベースにデータを挿入するスクリプトを作成することもできます。

import psycopg2
import csv

# データベース接続
conn = psycopg2.connect("dbname=my_database user=my_user password=my_password")
cur = conn.cursor()

# CSVファイルを開く
with open('my_data.csv', 'r') as f:
    # CSVリーダーを作成
    reader = csv.reader(f)

    # ヘッダー行をスキップ
    next(reader)

    # データを挿入
    for row in reader:
        id = row[0]
        name = row[1]
        email = row[2]

        cur.execute("INSERT INTO users (id, name, email) VALUES (%s, %s, %s)", (id, name, email))

# コミットしてクローズ
conn.commit()
conn.close()