MVP学院大数据专场个人见解（上）

5月24日，北京阿里中心举办了一场MVP学院大数据专场活动，阿里云和优酷的技术专家带来了三场主题演讲。其中有不少干货，值得拿出来细说。

用AI来管理大数据

即便是阿里巴巴这样的体量，数据人才依然是稀缺资源。如果用纯人工的方式管理分析数据，一个分析师大概只能管住上百个作业，服务几十人的业务团队。但换成AI辅助的话，这个数字直接翻百倍——轻松管理上万个作业，服务上千人的业务团队。差距不是一点半点。
不仅阿里内部的大数据平台在拥抱AI，对外输出的Dataphin智能数据构建与管理平台也全面融入了智能能力：数据连接、统一ID的萃取、分析代码的生成、模型和算法的优化，全部可以自动完成。

构建技术生态

会上，一位曾在微软工作过的阿里云研究员结合自身经验，提出了技术解决方案进化的四个阶段：

第一阶段，先用业界已有影响力的方案解决自身问题。阿里巴巴最初用Oracle做大数据计算，后来Oracle撑不住了，切到GreenPlum，再切到Hadoop——这些都是当时的主流方案。但业务增长快过技术天花板，自研就成了必经之路。微软、Google都有类似的故事。
第二阶段，自研核心系统。阿里巴巴从2010年开始自研大数据平台ODPS，先在集团内部用起来。
第三阶段，自研系统对外输出。ODPS从2013年开始对外提供服务，2016年升级为2.0，并改名为MaxCompute。
第四阶段，建立广泛生态。以MaxCompute为核心，流计算平台BLink、机器学习平台PAI、大数据开发平台DataWorks、数据智能产品QuickBI、数据可视化DataV……这些产品和平台不断扩展阿里云大数据解决方案的适用领域。今天阿里云的大数据方案，就是一个“小核心+大外围”的架构。

数据本身并不产生价值，计算才能产生价值

阿里研究员在聊到数据湖时，提到了两条核心观点：
首先，数据本身不产生价值，计算才产生价值。大数据概念火起来之后，各种大数据平台建了不少，但成功的少。问题很可能就出在这里——把数据存起来不等于就能挖出钱子，只有针对数据的挖掘和计算才能让价值真正释放。数据存哪里不是关键，关键是怎么算。
所以，计算的下推比数据的上报能更高效地获取价值。从这个角度看，物理的数据湖或许有些问题，但逻辑的数据湖是可行的。阿里云的数据湖方案，正是通过统一管理分散在各种存储介质上的数据，并统一分配和调度计算工作，来实现逻辑数据湖的。
限于篇幅，这次先分享到这里。后续再整理大数据平台最佳实践的内容。