亚马逊云科技：实现大数据与机器学习双剑合璧

近年来，数字化转型已经被更多的企业接受，而初级的数字化也已经深入到“数“”智“融合阶段。红杉资本此前做的一项研究显示，企业数字化能力评估模型的重要一环是数据驱动的洞察与决策，即基于数据和复杂的算法推荐、预测等结果，帮助管理层做出更科学和高效的决策。

咨询机构能够从宏观上帮助企业进行数智融合的方法论指导，而作为企业的数字底座云计算厂商亚马逊云科技，有着更深层次的认识，能够帮助企业完成技术实现。

在不久前召开的《云领数智融合，重塑数据洞察》沟通会上，亚马逊云科技大中华区产品部总经理陈晓建建议，企业要重塑数据洞察，一定是将数据（大数据技术）和智能（机器学习技术）进行融合和统一。

大数据与机器学习的需求变化也越来越多。主要表现为四个方面： 

组织架构层面：将原来分散在各个部门的机器学习实践进行整合，并与大数据项目进行统一协调和资源配置；

人员能力层面：要求和安排原有传统的大数据实践者掌握机器学习技术，应用到大数据具体项目或承接新的机器学习相关的项目需求，要求机器学习从业者也要掌握大数据处理能力，更好、更便捷地完成模型所需的数据准备和加工；

项目实施层面：仅依靠传统的大数据技术是无法全方位提供充足的数据见解，仍需要机器学习的模型能力补充，越来越多的数据项目会融合大数据和机器学习两者的能力；

工具支撑层面：需要面向大数据技术和机器学习构建统一的开发平台和技术基础，可能是对已有大数据平台进行改造增加机器学习相关场景和能力，或是完全推倒重新构建一个面向两者的通用的平台。

在现实中，数据分析与机器学习之间，存在着很多不协同的问题。如何将二者进行有效融合，陈晓建认为需要解决三个方面的问题：

第一：数据和机器学习分而治之，数据及技术孤岛制约敏捷迭代。

第二：数据处理能力不足。在生产制造企业，机器学习帮助客户对产品售后维修需求进行预测，由被动响应变为主动规划。但由于不具备足够的大数据处理能力，模型开发成功后 ，不能够有效收集处理海量的运营数据，致使预测不准确，无法达到预期业务目标。

第三：据分析人员参与度低。现实情况经常是，模型在实验环节效果良好，但实际使用中却不尽人意，实验环境只是对真实环境的简单模拟，生产环境要复杂得多。

与一般的咨询公司给出的方法论不同，亚马逊云科技能在技术细节上帮助企业更有效实现升级变革。这蕴含了亚马逊云科技三大技术能力：

构建云中统一的数据治理底座，打破数据及技能孤岛。亚马逊云科技能帮助客户构建统一的数据治理底座，实现大数据和机器学习的数据共享，数据权限的统一管控，以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合，还能减少大数据和机器学习重复构建的工作，并且显著降低成本。其中， Amazon Lake Formation推出诸多新功能，实现了数据网格跨部门的数据资产共享，以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务，该服务基于多种专门构建的服务，如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce （Amazon EMR）、云数据仓库服务Amazon Redshift、Amazon SageMaker等，为大数据和机器学习提供统一的开发平台。

助力机器学习由实验转为实践，为机器学习提供生产级别的数据处理能力。机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务，帮助客户进行复杂的数据加工及处理，应对数据规模的动态变化，优化数据质量。其中，Amazon Athena能够对支持多种开源框架的大数据平台，包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源，对这些数据源进行联邦查询，快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka （Amazon MSK）和 Amazon EMR 为代表的无服务器分析能力，可以让客户无需配置、扩展或管理底层基础设施，即可轻松地处理任何规模的数据，为机器学习项目提供兼具性能和成本效益的特征数据准备。

让数据分析智能化，赋能业务人员探索创新。亚马逊云科技还不断提供更加智能的数据分析服务，赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如，在日常分析工具中集成机器学习模型预测能力，其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML，可帮助用户使用熟悉的技术，甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务，让业务人员探索机器学习建模。

亚马逊云科技 “云、数、智三位一体”服务组合优势能够打破数据及技能孤岛、机器学习由实验转为实践、赋能业务人员探索创新。而企业则可以云中打造统一的数据基础底座，实现大数据和机器学习的双剑合璧，为企业发展提供新动力。