网易有数大数据平台：一站式大数据应用开发和数据管理平台

推荐理由:

通过网易的大数据平台工具可以快速实现企业数据中台搭建，可以让读者整体了解数据中台总体产品架构设计，对自研数据平台产品也起到很好的参考作用。

毋庸置疑，越来越多的公司、企业和政府等组织机构，开始重视公司的各种经营生产数据，期望通过这些数据去挖掘潜在的价值。无论是为了发现问题、节约资源，还是为了提升效能、拓展业务、提升核心竞争力，只有掌握更好地使用数据、管理数据、挖掘数据的方法，才能让数据发挥更大地作用。那么，在数据驱动的DT时代，如何才能更好地驾驭数据？

网易有数大数据平台从数据研发、数据治理和数据服务3大方面，提供了十余款产品，构建了完整的产品矩阵，在大数据开发和管理的方方面面提供了有力支持，如下图所示：

（网易有数大数据平台架构）

依托于内部的实践方法论，形成了先设计后开发的设计理念，在数据开发的实施过程中，完成了源数据入仓、指标定义、模型设计、数据测试、质量监控、调度运行、实例运维、数据服务等过程，最终对外提供数据可视化时，也有丰富的展示样式。下面对各个子产品做一个简要介绍。

数据研发

1.离线开发

离线开发中心是网易有数大数据平台的基础产品，提供大规模数据存储与计算能力。可选择搭载其它中台产品，完成数据集成、数据研发、数据治理、数据服务等功能，灵活满足客户的各类场景。

2.实时计算

实时计算平台是基于 Apache Flink 构建的高性能、一站式的实时大数据处理平台，广泛适用于流式数据处理场景，通过标准 SQL 服务和更高级的代码定制服务，提供低门槛，专业化的实时计算 IDE。

3.任务运维

任务运维中心是离线任务的运维平台，致力于提供高效、智能、功能强大的运维能力，辅助任务运维人员完成任务的运维工作。该产品必须搭配离线开发中心使用。

4.数据传输

数据传输主要用于多种异构数据源之间的数据交换，可实现各部门业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构，可以从容应对大数据量的数据传输需求。

（丰富的数据源支持）

数据治理

1.数据地图

数据地图提供数据检索能力，致力于提供大数据平台生态内丰富数据源的检索服务。通过该平台，用户可以以较小成本找到所需数据，无论是 Hive 表或字段、指标，或其它多种数据源。在未来，也会支持 API、有数报告的搜索。

2.指标系统

指标系统依托离线开发中心，是指标的统一入口，通过定义原子、派生和复合指标，明确指标业务口径和技术口径，解决指标定义不一致、口径不一致和数据来源不一致的问题，实现规范定义，助力数据模型规范设计。

3.模型设计

主要提供组织数据、刻画数据、规范约束、效果衡量等能力，用于实现数仓的规范化建模，同时指引数仓建设的方向。该产品支持主题域、表分层、字典集、设计规则、维度、度量等模块的管理，支持数仓建设数据大屏展示。

4.数据质量

数据质量中心通过事前定义监控规则、事中监控数据的生成过程以及事后评估和问题追溯，围绕完整性、一致性、准确性、有效性和及时性五个方面衡量数据质量，依托离线开发中心的数据质量配置，提升企业数据价值。

5.数据资产

数仓界的360，可以定量评估数据资产的成本，价值，质量。帮助企业优化存储成本，节约计算资源。精细化的数据生命周期管理，帮助企业更好的管理数据的生产到销毁的整个生命周期。

数据服务化

数据服务

数据服务提供快速将数据表生成数据 API 的能力，通过应用授权，供外部应用系统调用 API 获取数据，且对 API 进行统一管理和发布，支持一键创建数据抽取任务。

网易有数大数据平台已服务多个领域的标杆客户，期待能为更多客户提供服务、共同成长。

本文简单地介绍了网易有数大数据平台的部分产品，相信大家也产生了不少疑问，期望能有更多更详细地介绍。后续有数君将针对每个子产品做更具体地介绍网易大数据，也会有最佳实践案例帮助大家了解大数据平台的子产品是如何协同来完成数仓建设，完成对外服务。

作为一站式大数据应用开发和数据管理平台，网易有数大数据平台整合数据技术、产品技术能力，提供了统一的数据管理和服务能力，强力支撑前台业务，期望可以通过人人用数据、天天用数据的方式，帮助客户发挥数据价值。

（编辑：武汉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!