ElastAlert 基于Elasticsearch的监控告警
Elastalert是Yelp公司用python2写的一个报警框架(目前支持python2.6和2.7,不支持3.x).
GitHub地址为 https://g…
Java程序员,你一定需要了解的六款大数据采集平台
亲爱的小伙伴,抽点时间帮忙投一下票,选一下您目前所处的阶段,以便后期推出更多对您有帮助的文章和内容哦!
随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天…
跳数索引:后起新秀ClickHouse
在之前的学习进程中,我们已然领略到了 Elasticsearch 那强大的功能特性。然而,当进行技术选型之际,价格这一因素的影响力不容小觑。Elasticsea…
引擎分片:Elasticsearch如何实现大数据检索?
为什么 ELK 的功能如此强大呢?这就需要我们对 ELK 中储存、索引等关键技术点的架构实现进行深入了解才能弄明白。相信在学习完今天的内容之后,大家对于大数据分…
Blink实时计算:Explorer大基数表的写入性能优化
在研发实时数据的过程中碰到了需要update写入Explore的大基数实时数据表的场景。本文记录了经过一系列方式调优后,在流量正常的情况下,任务不再出现exp…
【大数据开发必读】一张图帮你快速建立大数据知识体系
前言
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖…
SpringBoot 整合 ElasticSearch 轻松搞定海量级数据搜索服务【终极版】
一、背景介绍
在上篇 ElasticSearch 文章中,我们详细的介绍了 ElasticSearch 的各种 api 使用。
实际的项目开发过程中,我们通常…
Spring Boot整合elasticSearch 实现数据高效搜索,实战讲解!
一、背景介绍
在2018年10月5日,一个做数据搜索服务的软件初创公司 Elastic,在纳斯达克上市。
而我们所熟悉的 ElasticSearch,正是 …
两分钟了解ElasticSearch的索引重建
q
在5.x版本之后ElasticSearch新增了索引重建功能,可以直接在ES集群里面对数据进行重建并且支持跨集群间的数据迁移。
1、什么是索引重建
在保证数…
电商中常见的Mysql与ElasticSearch数据同步的方案
在实际项目开发中,常用Mysql作为业务数据库,ElasticSearch作为查询库。ElasticSearch主要用来应对海量数据的复杂查询,提高查询效率和缓…
大数据量下Mysql的多表联合查询优化方案
在电商的履约业务中,运营人员或财务人员需要在一张excel中导出关于履约单的具体信息,如履约单下单信息、履约商品信息、 履约单送仓信息、履约单的物流信息等等,这…
MySQL千万级大数据量查询优化方案
目 的
Mysql查询性能优化要从三个方面考虑,库表结构优化、索引优化和查询优化。
优化方案
2.1 where条件过滤数据多的放在前面,减少产生的临时表的数据…
干货 | 节约60%开发工时,离在线一体化数仓系统在携程旅游的落地实践
作者简介
Chengrui,携程后端开发专家,关注实时数据处理、AI基础平台建设以及数据产品等领域。
本文主要介绍离在线数据仓库建设在携程旅游团队的落地与实践,…
大数据SQL数据倾斜与数据膨胀的优化与经验总结
( 本文阅读时间:5分钟 )
01 背景
目前市面上大数据查询分析引擎层出不穷,如Spark,Hive,Presto等,因其友好的SQL语法,被广泛应用于各领…
滴滴 OrangeFS 数据湖存储关键技术揭秘!
2015年,滴滴为解决小文件和图片的存储,成立 GIFT 小对象存储项目。伴随着业务不断成长,我们面临的挑战也越来越多,经历多次非结构化存储架构演进,具体如下图…
Apache Flink在滴滴的应用与实践
导读:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。…
干货 | 每天十亿级数据更新,秒出查询结果,ClickHouse在携程酒店的应用
作者简介
蔡岳毅,携程酒店大数据高级研发经理,负责酒店数据智能平台研发,大数据技术创新工作。喜欢探索研究大数据的开源技术框架。
一、背景
1)携程酒店每天有上千…
全文搜索引擎选 ElasticSearch 还是 Solr?
作者:JaJian`博кē
最近项目组安排了一个任务,项目中用到了基于 Solr 的全文搜索,但是该 Solr 搜索云项目不稳定,经常查询不出来数据,需要手动全…
【面试必备】如何在10亿数中找出前1000大的数?
作者:channingbreeze | 微信公众号:互联网侦察
小史是一个应届生,虽然学的是电子专业,但是自己业余时间看了很多互联网与编程方面的书,一心想进BA…