SQLでの0埋め（ゼロパディング）について詳しく解説します。基本的な方法から応用テクニック、各データベースでの違いまで幅広くカバー。あなたのSQLスキルを次のレベルに引き上げる秘訣とは？
SQLで正規表現を使いこなすテクニックとデータ加工の極意
SQLで正規表現を活用すると、複雑なデータ加工や検索が可能になります。本記事では、SQLにおける正規表現の基本から応用まで、実践的なテクニックを紹介します。あなたのSQLスキルを次のレベルに引き上げる準備はできていますか？
SQLで正規表現を使用する際の基本的な構文は、データベース管理システム（DBMS）によって若干異なります。ここでは、主要なDBMSでの使用方法を紹介します。
SELECT * FROM table_name WHERE column_name REGEXP 'pattern'
SELECT * FROM table_name WHERE column_name ~ 'pattern'
SELECT * FROM table_name WHERE REGEXP_LIKE(column_name, 'pattern')
SELECT * FROM table_name WHERE column_name LIKE 'pattern'
主要な正規表現演算子：
^: 行の先頭$: 行の末尾.: 任意の1文字*: 直前の文字の0回以上の繰り返し+: 直前の文字の1回以上の繰り返し?: 直前の文字の0回または1回の出現[]: 文字クラス（括弧内の任意の1文字）[^]: 否定文字クラス（括弧内以外の任意の1文字）|: OR条件
これらの演算子を組み合わせることで、複雑なパターンマッチングが可能になります。
実際のデータ抽出シナリオを通じて、SQLでの正規表現の使用方法を見ていきましょう。
SELECT email FROM users WHERE email REGEXP '^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}$'
SELECT phone_number FROM contacts WHERE phone_number REGEXP '^(\+\d{1,3}[- ]?)?\d{10}$'
SELECT website FROM companies WHERE website REGEXP '^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$'
SELECT address FROM customers WHERE address REGEXP '\d{3}-\d{4}'
SELECT REGEXP_REPLACE(card_number, '(\d{4})\d{8}(\d{4})', '\1********\2') AS masked_card_number
FROM payments
これらの例は、実際のデータ処理シナリオで正規表現がいかに強力なツールになり得るかを示しています。
データクレンジングは、データの品質を向上させ、分析の精度を高めるために不可欠なプロセスです。SQLと正規表現を組み合わせることで、効率的にデータクレンジングを行うことができます。
UPDATE table_name
SET column_name = REGEXP_REPLACE(column_name, '^\s+|\s+$', '')
UPDATE table_name
SET column_name = REGEXP_REPLACE(column_name, '[^a-zA-Z0-9]', '')
UPDATE table_name
SET column_name = REGEXP_REPLACE(column_name, '\s+', ' ')
UPDATE table_name
SET price = REGEXP_REPLACE(price, '[^0-9.]', '')
UPDATE table_name
SET date = REGEXP_REPLACE(date, '(\d{4})-(\d{2})-(\d{2})', '\3/\2/\1')
これらのテクニックを使用することで、データの一貫性を保ち、後続の分析作業を容易にすることができます。
正規表現は強力なツールですが、適切に使用しないとパフォーマンスに影響を与える可能性があります。以下に、SQLで正規表現を使用する際のベストプラクティスとパフォーマンス最適化のヒントを紹介します。
^（行頭）や$（行末）を使用して検索範囲を限定します。*、+）の使用を最小限に抑えます。LIKE演算子の方が高速な場合があります。正規表現は複雑なパターンが必要な場合にのみ使用しましょう。SUBSTRING関数で関連部分を抽出してから正規表現を適用すると、処理速度が向上する場合があります。
これらのベストプラクティスを適用することで、SQLでの正規表現の使用をより効率的かつ効果的にすることができます。
正規表現は単純なパターンマッチングだけでなく、高度なテキスト分析にも活用できます。以下に、SQLと正規表現を組み合わせた高度なテキスト分析テクニックを紹介します。
SELECT
CASE
WHEN text REGEXP '良い|素晴らしい|最高' THEN 'ポジティブ'
WHEN text REGEXP '悪い|最悪|不満' THEN 'ネガティブ'
ELSE 'ニュートラル'
END AS sentiment,
COUNT(*) AS count
FROM reviews
GROUP BY sentiment
SELECT
REGEXP_SUBSTR(content, '(AI|機械学習|ディープラーニング|ビッグデータ)') AS keyword,
COUNT(*) AS frequency
FROM articles
WHERE REGEXP_SUBSTR(content, '(AI|機械学習|ディープラーニング|ビッグデータ)') IS NOT NULL
GROUP BY keyword
ORDER BY frequency DESC
SELECT
AVG(LENGTH(REGEXP_SUBSTR(sentence, '[^ ]+', 1, 1))) AS avg_word_length,
AVG(LENGTH(sentence) - LENGTH(REPLACE(sentence, ' ', '')) + 1) AS avg_words_per_sentence
FROM (
SELECT REGEXP_SUBSTR(content, '[^.!?]+[.!?]', 1, LEVEL) AS sentence
FROM articles
CONNECT BY REGEXP_SUBSTR(content, '[^.!?]+[.!?]', 1, LEVEL) IS NOT NULL
) sentences