数据处理的基本功：正确采集、清洗和富集大连大闸蟹

新的一年，万象更新，您的数据也是。现在大数据圈子里，有这样一种说法："数据就是新的石油"。如今数据俨然成为一种商业资产，本身就很有价值，如同传统能源，可以被采集、存储和交易。然而，就像石油一样，如果数据被埋藏在遥不可及的深处，和你也没什么关系，你必须先把它挖掘出来，进行提炼和部署，才能实现其中的价值。

尽管大数据的提法已经深入人心，很多企业也留存了丰富的数据，但它仍然是被埋没的宝藏，而不是有用的燃料。不同部门各自在收集客户数据，把它们存储在孤立的系统中，客服部门不与营销部门共享，销售团队看不到广告营销部门的数据库。

你正面临的挑战是如何将内部数据源整合在一起，创建一站式平台：即一个虚拟“炼油厂”，在那儿你提炼、丰富和分析所有数据，将粗糙数据（相当于原油）转化成为助力您业务腾飞的燃料。

在本文中，我们将着重讨论为什么高质量的数据很重要，您应该收集哪些类型的数据，以及如何清洗和丰富这些数据为下一步分析做好准备。

现在客户数据的重要性没有谁能否认，但数据和数据不一样，很多营销小伙伴对清晰、完整、可信的数据重视程度还是不够，那么根据这些脏数据得出来的结论，还不如没有那些数据靠主管的经验、直觉判断来得准确。

我们回溯一下典型的用户消费行为，综合研究发现，2/3的客户在购买之前和你曾经接触了三次，而33%客户甚至接触过6次或更多。

现在想象一下，如果你的数据只收集到了三个接触点中的两个，或者六个接触点中的三个，你的归因模型就会出现问题，失去原本可以转化的良机，由于那个关键时刻接触不到他们，也有可能永久流失。

并非危言耸听，举个例子，假设你的网站突然流量大增，查看百度分析结果显示你的新关键词排名上升了，你可能会在网站开发上投入更多的资金，在SEO方面加倍努力，并推出新的内容，但实际上，流量上去的真正原因是你的网红CEO最近在抖音快手上有个曝光，顺便带了个货，链接到了相应的网店。只要你做了营销，各个渠道的接触点数据都得采集到，就这个例子而言，你的一站式营销平台之前若没有接入短视频、直播等数据源，也就无法做出正确归因。

再比如，你根据上个季度末的流量报告，给自己的两微一抖号制定了一个“上新”策略，然而计划赶不上变化，今年上半年发展变化，可能很多都不适用了，以前忽视的拼多多、快手，似乎都有新的曝光需求，你的预算就要调整，这时候，你会感叹，虽然积累数据很多，但这些数据好像也不太能用上，比较难以指导决策。

图片来源于网络

我们根据这些考虑，建议真正高质量的客户数据要包含四个特征：

完整性--应该收集每一个与客户或潜在客户打交道部门的数据。

及时性--数据流应该是实时的、及时更新的，而非手动复制和黏贴。

相关性--数据要物尽其用，如果你是卖帽子的，就不需要采集客户的鞋码尺寸。

可靠性--数据应是丰富的，经过清洗和验证的，以确保其准确性和可信度。

绘制您公司的数据全景图可能会感到是一项比较艰巨的任务，其实，背后更重要的是要关注与改善用户体验、推动个性化服务、升级客户关系管理。以下是我们必须拥有的数据源的简短列表：

图片来源于网络

1. 线上和线下销售数据。如果您有线上和线下两类渠道，那么把这些数据连接到您的CDP（客户数据平台）是必不可少的，你定会发现由线下营销可促成线上消费的机会，反之亦然。

2. 网上浏览数据。线上直接就是数字化信息，因此可以不只是获得流量和使用时长这样简单的数据，可以更深入地挖掘，您的CDP（客户数据平台）里可以包含之前流入和之后流出的渠道数据、页面点击数据、浏览深度数据，这时候你可以前后关联着来看用户行为。

3. 调查数据。一手的调研数据非常宝贵，包括通过调查获得的数据，比如净推荐值、产品满意度或客户体验得分等等，确保这些数据进入CDP（客户数据平台）。

4. 客户服务数据。当客户购买之后，营销人员仍要留存、培育他们，所以，通过客服了解到用户对品牌整体体验情况十分重要。

5. 销售部门数据。销售部门有很多对营销人员有用的数据资源，有的是简单的售卖数据，也有潜在客户名单，这些都可以指引进一步内容营销，即便有些流失的客户数据，也能从中分析出问题原因。

6. 广告平台。将搜索引擎竞价排名广告、社交媒体信息流和其他账户的数据连接到你的CDP（客户数据平台）。

7. 营销自动化平台。当你的数据积累到一定时候，你的自动化平台已经是一个数据宝藏，这时候你可以引入更多的机器学习、自然语言处理等智能工具，进一步自动化、智能化管理，产生更大的营销价值。

8. 忠诚度数据。既要考虑当前销售，也要考虑用户留存、复购，结合到你的会员忠诚度计划，将客户何时何地、购买什么、购买几次、停留时长、买了又买、看了但没有买等等数据关联、充分利用起来，必将获得一批最有价值的用户。

9. 旧有数据。不要忘了故纸堆里的客户数据，它们可能还没上线，无论是在老硬盘里还是在文件柜中，这些旧有数据对探究老会员的用户旅程非常有用，可以进一步完善你的品牌客户全景图。

10. 可穿戴设备和物联网数据。随着5G、物联网时代的到来，这些数据建议你要开始积累了，未来将会发挥作用；像智能手表、智能家居、车联网已经产生了大量对营销人员有用的数据。

将您的数据源连接到CDP平台（客户数据平台），您已经迈出了很重要的一步，下一步是确保数据清洁、完整和值得信赖的。

图片来源于网络

这个过程便是客户数据清洗。客户数据清洗的过程有助于识别不完整、损坏或冗余的数据，就像清洗家庭衣物一样，你可能需要把内衣、裤子、大衣分开，放到洗衣机里、烘干或晾晒、叠好，那么对应到数据来说，就是将不同来源的数据，一步步，变成标准化的数据。接下来，我们具体给您进行指导：

1. 验证和消毒。开启你的CDP（客户数据平台）来检测缺失、虚假或不相关的数据，例如，一个叫“樱木花道”的人填写的表单（其实还好，但这肯定不是真实姓名），或在“/./aqh;laweb” 工作的人（不要猜，反正认为是一堆乱码就对了），或像 "@Idontwanttogiveyoumyemail.com”这样的电子邮件后缀地址（貌似是有点问题，搜索了一下果然没有，你要做这样的验证工作）。

2. 合并重复的内容。为了统一客户资料（在下一阶段），去除重复的数据是必要的动作，你不想让住在“德胜门内大街15号院的张晓宇”有一个条目，而住在“德内大街15号院的张晓宇先生”有另一个条目，就需要合并。好的CDP（客户数据平台）可以帮助你在添加新数据时自动地、持续地完成这项工作。

3. 标准化、格式化。有些格式是比较固定的，比如中国大陆用户的手机号是11位数字？性别是男或女，电子邮箱中间有一个“@”符号，这可以在输入时候就让用户标准化填写，再比如你的业务会有一些特殊的固定格式，这些CDP（客户数据平台）都可以帮你来设计和建议。

4. 清除过时的信息。定期更新还是很重要的，我们建议您对客户的公司名称、职位、公司地址，1年可以同步检查一次，电子邮件地址、手机号可以更久一些，如果您在这个期间无论是从您的系统还是第三方获取到用户新的记录，都可以通过交叉验证，对用户最新的数据进行确认。

除了精炼以外，最后我们还想说一下“富集数据”这件事，数据富集是指在客户数据中加入第二方和第三方数据，然后与现有第一方数据相结合的过程。

第一方数据是你直接从客户那里得到的数据。

第二方数据是指原本是其他公司的第一方数据，你直接与它合作/购买或从它的代理商、数据市场、媒体购买而获取。

第三方数据是指购买由专业数据公司汇总的数据，可能与用户消费行为没有直接关系，与第二方数据相比，第三方数据相对更加广泛，也不限于消费方面的数据。

以上这三种类型的数据都是完善用户档案的必要组成部分。

下面列举一个地方性电影院的例子，具体说明应用“数据富集”方法如何扩展你的客户视图。

最后我们不得不提到的是，好的CDP（客户数据平台）可以帮您处理数百家来自第二方和第三方不同类型的数据源，最重要的是，您的CDP（客户数据平台）应该能够自动地将您的富集数据与现有的第一方数据关联起来，在统一用户档案下整合成为可扩展的数据资源，为您形成牢固坚实的数据基础。

-END-