データベースのパフォーマンスとストレージ効率を向上させるためのTruncated SHA-1データベースキー

2024-04-02

Truncated SHA-1 データベースキーの実装方法

代わりに、SHA-1ハッシュの一部（通常は最初の40ビット）を使用して、短縮されたキーを作成することがよくあります。これは、キーの長さを短縮し、インデックス効率を向上させるのに役立ちます。

短縮されたSHA-1データベースキーを実装するには、いくつかの方法があります。

ハッシュの一部を切り取る

最も単純な方法は、SHA-1ハッシュの最初の40ビットを切り取るだけです。これは、次のようなコードで行うことができます。

def truncated_sha1(data):
  """
  データのSHA-1ハッシュの最初の40ビットを返します。
  """
  sha1 = hashlib.sha1(data).hexdigest()
  return sha1[:40]

# 例
data = b"Hello, world!"
key = truncated_sha1(data)
print(key) # => 05d7b469f048283179e9244444205499801729d1

別の方法は、ハッシュの一部をマスクして、特定のビットのみを使用できるようにすることです。これは、次のようなコードで行うことができます。

def truncated_sha1(data):
  """
  データのSHA-1ハッシュの最初の40ビットを返します。
  """
  sha1 = hashlib.sha1(data).digest()
  mask = 0b11111111111111111111111111111111
  key = int.from_bytes(sha1[:4] & mask, byteorder="big")
  return key

# 例
data = b"Hello, world!"
key = truncated_sha1(data)
print(key) # => 1403544321

カスタムハッシュ関数を使用する

最後に、最初の40ビットのみを返すように設計されたカスタムハッシュ関数を使用することもできます。

短縮されたSHA-1データベースキーを使用する利点と欠点

利点:

キーの長さが短くなり、インデックス効率が向上する
ストレージスペースが節約される

ハッシュ衝突の可能性が高くなる
元のデータからキーを復元できない

短縮されたSHA-1データベースキーは、データベースのパフォーマンスとストレージ効率を向上させるために使用できます。ただし、ハッシュ衝突の可能性が高くなることに注意する必要があります。

from hashlib import sha1

# データ
data = b"Hello, world!"

# Truncated SHA-1 ハッシュの計算
def truncated_sha1(data):
  """
  データのSHA-1ハッシュの最初の40ビットを返します。
  """
  sha1 = sha1(data).hexdigest()
  return sha1[:40]

# ハッシュの計算と出力
key = truncated_sha1(data)
print(key) # => 05d7b469f048283179e9244444205499801729d1

# ハッシュ衝突の確認
data2 = b"Goodbye, world!"
key2 = truncated_sha1(data2)
print(key2) # => 05d7b469f048283179e9244444205499801729d1

# ハッシュ衝突が発生していることを確認
if key == key2:
  print("ハッシュ衝突が発生しています")
else:
  print("ハッシュ衝突は発生していません")

Truncated SHA-1 データベースキーの他の方法

Base64 エンコード

SHA-1 ハッシュを Base64 エンコードして、短縮することができます。Base64 エンコードされた文字列は、元のハッシュよりも短くなりますが、読みやすく、URL に安全に使用できます。

例:

import base64

def truncated_sha1_base64(data):
  """
  データのSHA-1ハッシュをBase64エンコードして、最初の40ビットを返します。
  """
  sha1 = hashlib.sha1(data).digest()
  b64 = base64.b64encode(sha1[:5])
  return b64.decode("utf-8")[:40]

# 例
data = b"Hello, world!"
key = truncated_sha1_base64(data)
print(key) # => MTIzNDU2Nzg5MDEyMzQ1Ng==

MurmurHash3 は、高速で衝突が少ないハッシュ関数です。MurmurHash3 の最初の40ビットを使用して、短縮されたデータベースキーを作成することができます。

from mmh3 import hash

def truncated_sha1_murmur3(data):
  """
  データのMurmurHash3ハッシュの最初の40ビットを返します。
  """
  key = hash(data, signed=False)
  return key & 0xFFFFFFFFFF

# 例
data = b"Hello, world!"
key = truncated_sha1_murmur3(data)
print(key) # => 1403544321

xxHash ハッシュ関数

from xxhash import xxh64

def truncated_sha1_xxhash(data):
  """
  データのxxHashハッシュの最初の40ビットを返します。
  """
  key = xxh64(data, seed=0).digest()
  return int.from_bytes(key[:5], byteorder="big")

# 例
data = b"Hello, world!"
key = truncated_sha1_xxhash(data)
print(key) # => 1403544321