大数据技术栈，主要有哪些

往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间， 挨个技术去研究对比归类，大概总结出以下的技术点：

文件存储： Hadoop HDFS、GFS、KFS、Tachyon

离线计算： Hadoop MapReduce、Spark

流式、实时计算：flink、Storm、JStorm、Spark Structured Streaming、Heron、Spark Streaming

存储格式：kudu、ORC、Apache Parquet、CarbonData

数据库： HBase、Redis、MongoDB、Couchbase、LevelDB、Apache Cassandra、Ignite、TiDB

资源管理： YARN、Mesos

日志收集： Flume、Scribe、Logstash、FileBeat

消息系统： Kafka、StormMQ、ZeroMQ、RabbitMQ、Confluent Platform

在线、离线查询搜索分析： Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid、ClickHouse、Elasticsearch

数据可视化查询分析工具：Apache Zeppelin、Kibana

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据同步： Sqoop、DataX、Cannal、Maxwell、Debezium、DataBus

任务调度： Azkaban、Oozie

数据安全：Apache Eagle

机器学习、数据挖掘：Spark MLLib、Mahout

下图是羚羊根据当下流行的大数据技术点，结合之前的项目经验大数据技术，基于HDFS文件系统搭建了一个基本的、通用的完整大数据平台技术架构。一切的技术都是来源于不同的需求场景，所以根据不同的产品需求搭建出来的技术架构也会有差异。

（编辑：武汉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!