本文是“数据型公司”系列报道的第三篇，研究成果来自红杉美国数据科学团队。
---------
建立数据处理团队的主要目标
企业竞争力越来越取决于如何成功地分析海量的、非结构化的数据集，以及如何利用这些分析推动企业创新。因此，企业的当务之急便是建立数据处理团队，专注于从数据中汲取商业价值。
建立数据处理团队首先要明确三方面目标：
1，评估健康状况
监控关键产品的指标；了解这些指标变化背后的因素，并识别出异常值；形成企业报告并可视化。
2，交付适当产品
设计和评估实验；细分用户，建立用户行为模型；利用人工智能和机器学习改进产品生产系统。
3，制定产品目标、流程和策略
深入探索和分析用户体验过程；提出切实可行的策略并预测效果。
数据处理团队架构
要实现上述三大主要目标，则需建立恰当的数据基础设施。图1展示了整个数据处理团队的架构。
第一步是记录下用户与产品的所有交互行为——用户每次点击、悬停、打开、关闭和登录等，以及第三方提供的所有数据。一般来说，随着用户数量和用户参与度的增加，这些数据的规模会迅速扩大。
尽管这些数据不一定都有意义，但记录用户足迹是整个过程中的关键步骤。由于很多企业并不清楚自己最终需要什么样的数据，所以最简单的方法便是记录所有。之后，某些特定类型的数据需要经过处理才会变得有用，比如欺诈检测和直播视频。
原始数据可以通过ETL（萃取、转置、加载的过程）至数据仓库，数据仓库则以更为结构化的形式（通常由结构化查询语言SQL支持）存储数据。一些较大的企业选择将所有传入的数据以原始形式储存在数据池中（一个存储所有数据的集中式存储库），这样一来，企业便可以利用最新的逻辑，对下游的数据存储进行补充。
许多大中型企业拥有多个数据仓库和数据池，但如果没有构建数据集，数据的直接分析就会变得困难。
因此，构建数据集往往需要针对特定使用目的进行另一个萃取、转置、加载过程。之后，输出的数据将被存储在一个分析数据库中，用于更深入地分析，从而形成报告并将其可视化，并构建起人工智能和机器学习（AI/ML）模型。
这些深入了解将有助于制定流程和策略，可视化和报告则将有助于监控产品的开发进度，而AI/ML模型将有助于实现自动化并预测其效果。
此外，测试-学习方法是构建任何数据型产品的关键，它可以基于追踪的用户行为数据，开发并定制产品。根据对关键指标的影响，企业运行、评估和实施大量的产品实验（比如，A/B测试）。在这些实验中，特征标记将对用户进行细分，以确保不同的用户群组数据将会得到不同的处理。
随着数据处理的规模化和标准化，多种与数据相关的专业岗位将会诞生，包括数据分析师、数据工程师、数据基础设施工程师、数据架构师和数据科学家。在不同项目中，创建者、终端用户和数据产品各不相同（详见图2）。
数据处理团队的演进
数据处理团队的功能应随着产品的发展而演进。例如，在早期阶段，聘请专门从事分析千万级字节数据的数据工程师可能作用不大，但随着产品的推广，他们的作用则会日益彰显。构建数据处理团队应着眼于中短期需求，数据基础设施的建设则应以长期需求为基础。
下面，我们来谈谈，数据团队在各个特定开发阶段的主要任务。
1，阶段一
起初，当企业在统计用户数量时，出色的技术执行能力是企业的核心技能，比如建立基础设施生成可信的KPI、创建用户跟踪数据，并形成最初的报告。对于大多数公司来说，产品团队即为最初的数据团队。因为产品团队负责定义度量标准，并且随着产品使用量的增加，计算和存储与这些度量标准相关的数据。
2，阶段二
随着企业和产品的发展，完善信息板和报告变得越来越重要。这时，数据工程便成为独立于产品工程的核心功能，而构建基础设施的目的则是专门支持ETL和报告的功能。尤为重要的是，数据团队需要对产品进行深入了解，并提出看法。
除了监控KPI、向企业其他部门提供分析报告之外，数据团队的核心职责还包括进行特别分析，识别出度量偏差的根本原因。
3，阶段三
一旦产品使用量达到一定规模，需要进行统计意义上的实验来改进产品体验，这时，对于数据分析师和数据工程师来说，统计技能就至关重要了。
于数据分析师而言，精心设计实验、从统计角度正确解释结果是核心要求。在后端的实验框架中，则需要考虑用户跟踪（避免同一用户的数据参与到多个相关实验中）和其他能够快速分析结果的统计特性。
4，阶段四
最后，数据科学团队最重要的目标是设置企业目标、流程和策略。设定正确的目标需要基于对业务整体目标的理解。
制定流程需要基于探索性分析的能力，识别出问题和机遇，并将想法与结果联系在一起。具体来说，是需要分析出任何现象背后的驱动因素、可用来做出改变的杠杆，并将这些想法与实践结合起来。
除此之外，为产品团队制定策略需要强大的分析能力，理解并分析所有相关的现象，即所谓的“点”，识别和弄清这些点是如何相互连接的。只有在此基础上，才能提出有意义的策略。最后，还要清晰、有效地与高层领导沟通，这对于最终基于数据来设定目标、流程和战略具有不可忽视的作用。
相关阅读：
来源：红杉汇
评论