SQLite FTSのcontent_rowid：整数化のメリット・デメリットと代替手段を比較

2024-06-28

SQLite における FTS における content_rowid が整数である必要がある理由

content_rowid は、FTS における各文書の固有 ID です。この ID は、検索結果を整理したり、文書を更新したりするために使用されます。

content_rowid が整数である必要がある 理由は以下のとおりです。

効率性: 整数は、浮動小数点よりもメモリと CPU の消費量が少なく、比較および計算が速くなります。FTS は大量の文書を処理する必要があるため、効率的なデータ構造を使用することが重要です。
一意性: content_rowid は、各文書の一意の識別子である必要があります。整数を使用すると、重複する ID を簡単に回避できます。
整合性: content_rowid は、他の SQLite テーブルの主キーと一致する必要があります。多くの場合、主キーは整数型であるため、content_rowid も整数型にする必要があります。

content_rowid が整数であることの利点

検索結果の高速化
メモリと CPU の使用量の削減
データベースの整合性の向上

文書の数が非常に多い場合、大きな整数を扱う必要が生じる可能性があります。
整数以外の ID を使用したい場合は、独自の ID 管理システムを実装する必要があります。

FTS における content_rowid は、検索結果の整理、文書の更新、およびデータベースの整合性のために使用される重要な識別子です。content_rowid が整数である必要がある理由は、効率性、一意性、および整合性です。

CREATE TABLE tbl (
  a TEXT NOT NULL PRIMARY KEY
);

CREATE VIRTUAL TABLE fts USING fts5(
  a,
  content=tbl,
  content_rowid=guid
);

INSERT INTO tbl (a) VALUES ('This is a text document.');
INSERT INTO tbl (a) VALUES ('Another text document.');

SELECT * FROM fts WHERE a MATCH 'document';

このコードは、以下のことを行います。

tbl という名前のテーブルを作成します。このテーブルには、a という名前のテキスト列があります。
fts という名前の仮想テーブルを作成します。このテーブルは、FTS を使用して a 列を全文検索することができます。
tbl テーブルに 2 つの文書を挿入します。
a 列に "document" という単語が含まれる文書をすべて選択します。

このコードを実行すると、以下の結果が表示されます。

rowid | a
-------+--------
1      | This is a text document.
2      | Another text document.

この例では、content_rowid 列は自動的に生成されます。ただし、独自の content_rowid 列を作成することもできます。

CREATE TABLE tbl (
  a TEXT NOT NULL PRIMARY KEY,
  rowid INTEGER NOT NULL UNIQUE
);

CREATE VIRTUAL TABLE fts USING fts5(
  a,
  content=tbl,
  content_rowid=rowid
);

INSERT INTO tbl (a, rowid) VALUES ('This is a text document.', 1);
INSERT INTO tbl (a, rowid) VALUES ('Another text document.', 2);

SELECT * FROM fts WHERE a MATCH 'document';

このコードは、上記のコードと同じ結果を生成します。

補足

このコードは、SQLite 3.8.2 以降で使用できます。
FTS は、多くの全文検索エンジンよりも高速で効率的です。
FTS は、テキスト列、BLOB 列、および仮想テーブルを検索に使用できます。

FTS について詳しくは、SQLite のドキュメントを参照してください。

FTS における content_rowid の代替方法

カスタム ID 管理システムを使用する

独自の ID 管理システムを実装することで、content_rowid に整数以外の値を使用することができます。この方法は、content_rowid に UUID やその他のランダムな値を使用したい場合に役立ちます。

例

CREATE TABLE tbl (
  a TEXT NOT NULL PRIMARY KEY,
  uuid UNIQUE NOT NULL DEFAULT (uuid_gen_random())
);

CREATE VIRTUAL TABLE fts USING fts5(
  a,
  content=tbl,
  content_rowid=uuid
);

INSERT INTO tbl (a) VALUES ('This is a text document.');
INSERT INTO tbl (a) VALUES ('Another text document.');

SELECT * FROM fts WHERE a MATCH 'document';