基本ノウハウ
データクレンジングは、顧客データやビッグデータの形式を一定のルールに基づいて統一、整理する手法です。データクレンジングによってデータの不備やエラーを修正し、標準化を行うことで、データ分析の精度向上や効率化、生産性アップにつながります。
この記事では、データクレンジングの基本的な知識に加え、実際にデータクレンジングを行う方法や実施時の注意点について解説します。
データクレンジングとは、データベースにおける各種データを標準化した上で整理することです。具体的には、不正確なデータや重複したデータ、破損したデータ、無関係なデータなどのエラーを特定し、ルールに基づいて解決する手法のことを指します。「名寄せ」と呼ばれる、氏名や住所、電話番号などの情報をもとに同一の顧客情報を1つに統合する作業もデータクレンジングの一種です。
データクレンジングは、データの品質や信頼性、一貫性と価値を高める目的で実施します。データクレンジングを行わないと、必要なデータを検索してもたどり着くことができなかったり、重複したデータ（ダーティーデータ）が表示されたりといった不都合が生じます。データを正しく扱うことができなくなり、せっかくのアプローチの機会を逃すことにもつながりかねません。SFA/CRM、MAといったツールを活用するにあたって、データクレンジングは不可欠な作業だといえます。
データクレンジングを行うことで得られるメリットには以下の4つがあります。
データクレンジングによって、データ分析を実施する際の精度を高めることが可能です。顧客データベースを用いてマーケティング施策を立案する際は、各種データの形式が統一、整理されていることで少ない検索回数でも正しい結果を導き出しやすくなります。逆に分析の前提となるデータに重複や不足などのばらつきがあると確実性が低下し、分析結果の根拠が欠けるでしょう。
また、データクレンジングを実施して複数のデータベースを一元管理できるようになると、分析に幅が広がり、より精緻な分析へとつなげられます。ビッグデータを活用する上でデータの一元管理は不可欠であり、そのために必要な技術がデータクレンジングなのです。
データクレンジングは、コスト削減にも貢献します。例えば、誤入力やエラーのあるデータを蓄積すると、開発や保守にかかるコストが増大します。形式が統一されていないデータ、不整合のあるデータについても同様です。
マーケティング施策として顧客にメールマガジンやダイレクトメールを送る際、こうした不正確なデータがあると、送付物が届かない、送付先を誤るといった事故を招く場合があります。こうした事故が生じた際のリカバリーも運用コストとして考えると、データ不備による無駄なコストは軽視できるものではありません。
データクレンジングを行うことで、これらのデータの不備を修正し、標準化処理を施した上で、顧客データの取り扱いにかかるコストを削減できます。
データの逐次修正には多くの手間とコストがかかるため、データエラーやダーティーデータを放置しておくと労働時間の長期化を招き、業務効率を落として生産性を下げる要因になります。
また、マーケティング施策の実施にあたってデータを活用する際には、標準化されたデータが不可欠です。不備のあるデータは取り扱い時に余計な工数を招くリスクがあり、業務効率を著しく落とします。
データクレンジングによってデータを標準化することで、検索性を高めて抽出作業の工数を削減し、業務効率化や生産性向上へとつなげることが可能となるでしょう。
データをミスなく取り扱うことは、信頼のおける企業であるという、顧客からの支持を得ることにもつながります。もし顧客に誤った自動メールを送信したり、以前の担当者名を使用したりすれば、データを正しく取り扱えていないと、顧客が不信感を抱く要因になりかねません。場合によっては取り返しのつかない事故に発展するリスクもあります。不備のないデータを維持することは、企業への信頼を守るという意味でも極めて重要です。
本章では、データクレンジングを進める際の以下3つのステップについて、順を追って解説します。
STEP1｜必要なデータを取り込む
STEP2｜データを整形する
STEP3｜データを整理する
最初の手順は、必要なデータの取り込みです。これまで運用に使用してきたExcelやCSV、XMLといったファイルをすべて1つのデータベースに取り込みます。すべてのファイルを1つのデータベースに集約して一元管理することで、データ同士の関連性を発見でき、さらなる活用が期待できます。
ただし、もともと別々に管理していたデータは関連性を持っていないことがあります。これらを1つのデータベースにまとめようとすると、データに別の不整合や不具合が生じる可能性も考えられるため、統合の際はのちのちの関連性を考慮しながら入念に行うようにしてください。
次に、取り込んだデータを一定のルールに基づいて整形します。具体的には、個人名の姓名の分離や半角全角の統一、旧住所の新住所への変更などです。数値情報は、全角表記だと数字として認識されないことから、半角の数値で変換しましょう。
また、その後のデータ分析に使用することを見越した上で、扱いやすいデータ形式に変えていくことも重要です。これにより分析の幅を広げることや、分析の速度、精度向上にもつながります。
最後に、整形したデータをこちらも一定のルールに基づいて整理します。販促活動に使ったり受注活動に使ったりと、用途に応じてデータ抽出を行った際、そのままリストとして活用できるように、データの適切な整理を行ってください。
本章では、データクレンジングを行う際に注意すべき3つの点について解説します。
データクレンジングは、アナログで簡単にできる作業ではありません。手作業ですべてを行うことは、作業の工数や精度を考慮すると現実的に不可能だといえます。したがって、データクレンジングに特化したサービスの活用も視野に入れましょう。
データクレンジングでは、その目的を明確にして、必要なデータから着手するようにしましょう。不必要なデータを含む大量のデータを一度にクレンジングすると、データにノイズが生じます。本当に必要なデータとそうでないデータが混在すると、その後のデータ活用における生産性が著しく低下するので注意してください。
厳密に言うとこれはデータクレンジング後の運用ですが、整理したデータを企業活動に活用できる仕組みづくりが必要です。データの品質を維持し、それを販促や受注に活用できる仕組みがなければ、データクリーニングの効果を十分に活用できません。また、ある部署だけで限定的にデータクレンジングを実施すると、別の部署との不整合が生じ、データクレンジングの意味が薄れることもあります。データクレンジングを行う際は、扱うデータを将来的にどのように活用したいのかを見据えて、全社的に取り組むようにしましょう。
データクレンジングを実施するには、自社でシステムを一から準備するよりも、既存のサービスを導入したほうが工数やコストが少なく済みます。また、データクレンジングの実施にあたっては運用の体制づくりにも注力する必要があることから、まずはデータクレンジングに特化した既存サービスを利用して社内体制を整えておくと運用がスムーズでしょう。ここからは、データクレンジングに利用できる以下３つのサービスをご紹介します。
株式会社ユーザーベースが提供するFORCASは、名寄せを自動実行し、顧客データを正確な状態にして、ABM（アカウント・ベースド・マーケティング）の導入を支援するサービスです。MAやSFAと自動連携し、精度の高い顧客データ統合を実現します。
株式会社ランドスケイプが提供するuSonarは、高精度なデータクレンジング機能を備えた顧客データ統合ツールです。企業データの名寄せや企業属性付与、メンテナンスを自動処理し、データクレンジングに役立ちます。
Tableau Japan株式会社のTableauは、データクレンジングをコードなし、ドラッグアンドドロップで処理できる機能を持つビジュアル分析プラットフォームです。乱雑なデータを適切にクレンジングして、素早く分析につなげられます。
データクレンジングは、顧客データやビッグデータの分析、活用を行う企業にとって欠かすことのできない業務です。データクレンジングを行い、データを統合、標準化して整理することは、データ分析の精度を向上させ、生産性を高めていく重要な要素となります。
特に、既存顧客に個別フォローアップを行って売上を高めていく施策においては、適切に整理された顧客データの分析と活用が鍵となります。本記事を参考にぜひデータクレンジングに取り組んでみてください。
