利用HPCC开源大数据平台，实现数据合规管理

前言：

喧嚣过后，大数据技术在保险行业的应用正在实实在在地逐步深入。作为中国保险行业领先的数据和分析专家，精励联讯与其母公司律商联讯风险信息有限公司（以下简称“律商联讯”）有着丰富的大数据技术在保险行业的应用经验。本系列文章着重于和保险业同行们分享大数据技术在保险行业的一些应用心得。

这篇文章简单介绍了律商联讯的开源大数据平台HPCC在实现合规要求的数据保护政策上的技术优势。近期多部个人信息保护法律法规的立法进展，充分展现了我们国家对人民群众的个人隐私和信息安全的持续关注。这些法律法规不仅界定了个人的金融、医疗健康等数据的访问权限，还要求对这些数据的处理流程进行风险评估、监督和定期合规审计，这对大数据相关企业建设全方位的数据管理流程提出了很高的要求。

精励联讯建议企业或机构对数据流程和安全控制进行持续监督和及时更新，灵活适应不断演变的法律法规需求。通过可编程的数据存储和管理方案，HPCC在数据处理的整个生命周期内追踪数据来源去向。在提供安全可靠的数据处理和交付环境的同时，HPCC对使用该平台的应用程序进行可配置管理，可以灵活地满足不断演变的合规要求。

作为一个可编程的数据存储和管理解决方案，HPCC通过数据和代码封装的技术为实现相关合规要求提供了一个灵活可靠的方法。数据和代码封装技术通过HPCC ECL代码包装底层数据，实现通过一系列规则对数据集进行访问管控的技术，类似于传统关系数据库系统中使用的“数据视图”。但是，基于 HPCC ECL 的数据包装代码具有更多优点：约束条件可以在编译时静态地嵌入到调用的ECL代码中，避免程序在运行时才对约束条件进行动态解析而消耗计算资源，并减少了在执行时才可能触发的潜在错误(代码缺陷)的数量。数据所有者可以定义这些数据访问策略，仅给予通过包装代码访问数据的权限，并阻止对这个数据集的所有直接访问。

大多数法律法规的另外一个要求，是在数据处理的整个生命周期内对数据进行追踪。HPCC也很容易满足这一要求：ECL 工作单元通过静态编译生成，并在编译时收录了关于字段数据依赖关系的信息。当数据元素被不同的工作单元动态携带和/或转换时，可通过数据依赖关系图进行识别。

最后，几乎所有法律法规都要求捕获和跟踪数据访问行为，以便在出现可疑或未经授权的访问时及时告警并取证分析。在HPCC系统中，通过其对外接口服务ESP的数据访问层可实施和跟踪身份验证，授权和记录活动，并提供集中灵活的机制来捕获取证日志，同时对相关安全事件发出警报。

以律商联讯车联网解决方案对车辆运行过程中产生的实时数据的处理为例：在此场景下，数百万网联车辆数据，数十亿英里的里程，近乎实时生成的行程和预警数据，会被上传到 HPCC 平台中。这些数据可用于对地理位置、驾驶行为、车辆安全和其他维度进行分析，从而推断事故发生的可能性。这种类型的数据非常敏感，必须防止未经授权的访问和篡改，也就是保证数据的机密性和完整性。本文提到的对数据保护的原则和控制机制，被应用于该系统中来创建必要的安全措施，来保护这些数据及处理这些数据的计算环境。

总结：

总而言之，开源的大数据平台HPCC可以提供可靠、安全而且能够满足现代合规要求的数据处理和交付环境。基于该平台建立的应用，可以实现满足国际和当地法律法规对数据保护的监管要求。