SQLで重複データのカウントと集計をマスターする方法

SQLで重複データをカウントする

COUNT関数による基本的な重複カウント

重複データのカウントには、主にCOUNT関数を使用します。以下のような基本的な構文で実装できます。

SELECT column_name, COUNT(*) as count
FROM table_name
GROUP BY column_name
HAVING COUNT(*) > 1

このクエリは特定のカラムで重複している値とその件数を取得します。例えば、顧客データベースで同じ電話番号を持つレコードを検出する場合は以下のようになります。

SELECT phone_number, COUNT(*) as duplicate_count
FROM customers
GROUP BY phone_number
HAVING COUNT(*) > 1

DISTINCTを使用した重複除外カウント

重複を除外してユニークな値だけをカウントしたい場合は、DISTINCT句を使用します。

SELECT COUNT(DISTINCT column_name) as unique_count
FROM table_name

これは例えば、商品カテゴリーの実際の種類数を知りたい場合などに有用です。

複数カラムの重複データ検出

複数のカラムを組み合わせた重複チェックも可能です。以下は名前と住所の組み合わせで重複をチェックする例です。

SELECT first_name, last_name, address,
       COUNT(*) as duplicate_count
FROM customers
GROUP BY first_name, last_name, address
HAVING COUNT(*) > 1

大規模データでの効率的な重複カウント

大規模なデータベースで重複をカウントする場合は、以下のような最適化されたクエリを使用します。

WITH duplicates AS (
    SELECT column_name,
           COUNT(*) as cnt
    FROM large_table
    GROUP BY column_name
    HAVING COUNT(*) > 1
)
SELECT t.*, d.cnt
FROM large_table t
JOIN duplicates d ON t.column_name = d.column_name

時系列データの重複分析テクニック

時系列データにおける重複の分析には、特別な考慮が必要です。以下は日付範囲での重複をチェックする例です。

SELECT date_column,
       COUNT(*) as daily_duplicates,
       SUM(COUNT(*)) OVER (ORDER BY date_column) as cumulative_duplicates
FROM time_series_table
GROUP BY date_column
HAVING COUNT(*) > 1
ORDER BY date_column

このクエリは、日付ごとの重複数と累積の重複数を同時に表示します。