数据存储技术选型第三种是大数据一体机,这是一种专为大数据的分析处理而设计的软

本文内容源自网络整理，更多详细内容请阅读参考文献的原文。

1 存储方式1.1 块存储

块存储就好比硬盘一样，直接挂载到主机，一般用于主机的直接存储空间和数据库应用的存储。它分两种形式：

云存储的块存储：具备SAN的优势，而且成本低，不用自己运维，且提供弹性扩容，随意搭配不同等级的存储等功能，存储介质可选普通硬盘和SSD。

1.2 文件存储

文件存储与较底层的块存储不同，上升到了应用层，一般指的就是NAS ，一套网络储存设备，通过TCP/IP进行访问，协议为NFSv3/v4。由于通过网络，且采用上层协议，因此开销大，延时肯定比块存储高。一般用于多个云服务器共享数据，如服务器日志集中管理、办公文件共享。

1.3 对象存储

对象存储具备块存储的高速以及文件存储的共享等特性，较为智能，有自己的CPU、内存、网络和磁盘，比块存储和文件存储更上层，云服务商一般提供用户文件上传下载读取的Rest API，方便应用集成此类服务。

1.4 总结

它们的层级是越来越高。

2 大数据的存储方式2.1 分布式系统

分布式系统包含多个自主的处理单元，通过计算机网络互连来协作完成分配的任务，其分而治之的策略能够更好的处理大规模数据分析问题。主要包含以下两类：

2.2 NoSQL数据库

关系型数据库已经无法满足Web 2.0的需求。主要表现为：无法满足海量数据的管理需求、无法满足数据高并发的需求、高可扩展性和高可用性的功能太低。

NoSQL数据库的优势：可以支持超大规模数据存储，灵活的数据模型可以很好地支持Web 2.0应用，具有强大的横向扩展能力等，典型的NoSQL数据库包含以下几种：键值数据库、列族数据库、文档数据库和图形数据库。

2.3 云数据库

云数据库是基于云计算技术发展的一种共享基础架构的方法，是部署和虚拟化在云计算环境中的数据库。云数据库并非一种全新的数据库技术，而只是以服务的方式提供数据库功能。云数据库所采用的数据模型可以是关系数据库所使用的关系模型（微软的SQLAzure云数据库都采用了关系模型）。同一个公司也可能提供采用不同数据模型的多种云数据库服务。

3 大数据存储技术路线3.1 MPP架构的新型数据库集群

采用MPP（Massive Parallel Processing）架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。

3.2 基于Hadoop的技术扩展

基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑。对于非结构、半结构化数据处理、复杂的ETL（Extract-Transform-Load）流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。

3.3 大数据一体机

大数据一体机是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成大数据存储技术，高性能大数据一体机具有良好的稳定性和纵向扩展性。

4 分布式文件系统

下面列举了常用的分布式文件系统：

参考文献：

chen yue .大数据的存储方式 .三种最典型的大数据存储技术路线 .各种分布式文件系统简介及适用场景 .

（编辑：武汉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!