一种大数据聚合查询方法

1.一种大数据聚合查询方法，其特征在于，该方法包括如下步骤：

在需要同步的源数据表中增加标识字段；

部署Logstash集群作为数据同步中间件；

部署Elasticsearch集群作为数据存储系统；

在Logstash集群中设置数据同步配置文件；

在Elasticsearch集群中设置Elasticsearch索引，存储业务信息、业务统计数据；

启动Logstash集群同步数据。

2.根据权利要求1所述的方法，其特征在于：

所述源数据表为基础数据库中的用户表或业务数据库中的业务表。

3.根据权利要求2所述的方法，其特征在于：

所述标识字段为时间戳。

4.根据权利要求3所述的方法大数据查询，其特征在于，所述启动Logstash集群同步数据包括：

当源数据表中的数据发生变更时，更改源数据表中的标识字段的取值；

Logstash集群按照预设时间间隔轮询相应的源数据表；

当Logstash集群检测到源数据表中的标识字段的取值发生变化时，从源数据表中读取变更后的数据并进行处理；

Logstash集群将处理后的数据输出至Elasticsearch集群中。

5.根据权利要求4所述的方法，其特征在于：

所述Logstash集群包括多个Logstash。

6.根据权利要求5所述的方法，其特征在于，当Logstash集群包括第一Logstash和第二Logstash时，所述部署Logstash集群作为数据同步中间件包括如下的步骤：

将第一Logstash和第二Logstash注册到ZooKeeper中；

第一Logstash和第二Logstash抢占同步锁，进行数据同步，将各自的同步状态保存到ZooKeeper中；

当ZooKeeper侦听到其中一个Logstash发生异常时，将执行权转交给另一个Logstash；

获得执行权的Logstash从ZooKeeper获取数据同步状态，继续执行任务。

7.根据权利要求4所述的方法，其特征在于：

所述基础数据库中的用户表中的数据包括：用户编号、姓名和性别；

所述业务数据库中的业务表中的数据包括：用户编号和业务数据。

8.根据权利要求4所述的方法，其特征在于，所述更改源数据表中的标识字段的取值为：

将时间戳的取值更改为当前数据发生变更的时间。

（编辑：武汉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!