数据工程师可以确保合规性的3种方式

过去，“数据工程师”和“监管合规”这两个术语通常不会在业务对话中相互交叉。数据工程师正在努力构建系统来收集原始数据供数据科学家分析。另一方面，法规遵从是另一个部门的领域，例如法律或安全团队。

然而，随着国际、州和行业数据隐私法的兴起，组织内的几乎每个人都必须了解他们的工作如何帮助支持合规性——包括数据工程师。事实上，在美国，已有五个州通过了数据隐私立法：

加利福尼亚州：其先前的数据隐私法《加利福尼亚消费者隐私法》（CCPA）将被更全面的《消费者隐私权法》（CPRA）取代，该法于2023年1月1日生效。

科罗拉多州：科罗拉多州隐私法(CPA)于2023年7月1日生效。

康涅狄格州：康涅狄格州数据隐私法(CDPA)于2023年7月1日生效。

犹他州：犹他州消费者隐私法(UCPA)于2022年12月31日生效。

弗吉尼亚州：弗吉尼亚州消费者数据保护法(VCDPA)于2023年1月1日生效。

违规的罚款可能相当可观。零售商丝芙兰最近因为没有向消费者披露它正在出售他们的数据而被处以120万美元的罚款。鉴于合规的复杂性——以及罚款——公司优先考虑与合规相关的工作也就不足为奇了。事实上，2022年EMA调查发现，68%的组织正在使用或计划使用监管合规计划作为市场差异化因素。

虽然合规性继续排在业务优先级的队列中，但数据使用比以往任何时候都代表着更大的风险。云迁移和数据共享已经取代了本地数据存储的基础架构和边界。因此，数据保护要求更加严格，因为保护变得更具挑战性。

因此，与组织中几乎所有其他人一样，数据工程师现在必须了解他们对数据的使用和与数据的交互如何影响合规风险。此外，数据工程师必须具备新的技能组合才能在高度合规、云优先的环境中工作。

让我们仔细看看数据工程师可以支持公司合规工作的三个领域：

1.数据敏感性

组织如何保护数据取决于其数据敏感程度，数据工程师必须深入了解什么构成敏感数据和非敏感数据。在高度合规的商业环境中，更敏感的数据——专有信息、社会安全号码、信用卡号码、地址——在使用时必须有更严格的保护。

同样重要的是要认识到隐私法对数据敏感性的定义不同，这会使数据保护复杂化。例如，CPRA对敏感数据进行了广泛的描述，甚至添加了一个称为敏感个人信息的子集。CPA将与消费者的性生活和身心健康状况相关的信息视为敏感数据，而VCDPA包括地理位置信息敏感数据。当数据工程师可以识别数据敏感性并根据该敏感性采取适当的行动时，他们可以大大降低不合规的风险。

二、使用要求

一旦根据敏感性对数据进行了分类，就更容易确定如何处理它，这取决于对数据的处理方式。众所周知，数据不断地从本地迁移到云端。它在组织内部和外部共享，并从高环境转移到低环境。随着数据从一个位置流向另一个位置，公司必须采用强大的保护方法。

例如，有时必须重新识别一段敏感的、去识别化的数据。在这些情况下，必须采取适当的保护措施，以确保重新识别的数据不会暴露。从那里开始，数据工程师必须知道如何在当前状态下使用它以确保合规性。没有线性处方——“做这个，做那个”模型。合规性因企业经营所在的国家、州和行业的独特组合而异。

3.安全控制

在大规模迁移到云之前，数据安全控制很简单：保护网络外围以防止未经授权的数据访问。由于云没有边界并且数据不断移动，因此公司必须实施更多的安全控制。必要的控制形式取决于数据类型和用途。

数据工程师必须敏锐地意识到正在使用的无数控制——比如理解掩码、标记化和加密之间的区别，以及在不降低数据价值的情况下何时以及如何应用它们。虽然数据工程师不负责应用这些控制，但他们需要了解他们可以向谁发送数据，也不能向谁发送数据。他们需要有足够的安全控制背景知识，才能发现保护方法未应用或被误用的情况。

数据隐私法规只会越来越多，与数据保护相关的期望也越来越高。组织中的每个人都需要360度全方位的视角来确保人员和数据的安全。数据工程师在帮助组织降低风险方面发挥着重要作用。及时了解最新的数据隐私法，并花一部分时间对数据敏感性、使用要求和安全控制进行自我教育，这将大大有助于确保隐私和合规性成为公司长期结构的一部分。