给技术新人的ODPS优化建议

数据开发基本都是从陌生到熟悉,但是写多了就会发现各种好用的工具/函数,也会发现各种坑,本文分享了作者从拿到数据到数据开发到数据监控的一些实操经验。

写在前面…

Java程序员,你一定需要了解的六款大数据采集平台

亲爱的小伙伴,抽点时间帮忙投一下票,选一下您目前所处的阶段,以便后期推出更多对您有帮助的文章和内容哦!
随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天…

跳数索引:后起新秀ClickHouse

在之前的学习进程中,我们已然领略到了 Elasticsearch 那强大的功能特性。然而,当进行技术选型之际,价格这一因素的影响力不容小觑。Elasticsea…

引擎分片:Elasticsearch如何实现大数据检索?

为什么 ELK 的功能如此强大呢?这就需要我们对 ELK 中储存、索引等关键技术点的架构实现进行深入了解才能弄明白。相信在学习完今天的内容之后,大家对于大数据分…

10种数据分析的模型思维让你“灵光一闪”

作者列出10种数据分析思维,可能不会瞬间升级你的思维模式,但说不定会为你以后的工作带来“灵光一闪”的感觉。
很多人都说会数据分析的人比别人聪明,实际上他们“聪…

Blink实时计算:Explorer大基数表的写入性能优化

在研发实时数据的过程中碰到了需要update写入Explore的大基数实时数据表的场景。本文记录了经过一系列方式调优后,在流量正常的情况下,任务不再出现exp…

【大数据开发必读】一张图帮你快速建立大数据知识体系

前言
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖…

SpringBoot 整合 ElasticSearch 轻松搞定海量级数据搜索服务【终极版】

一、背景介绍

在上篇 ElasticSearch 文章中,我们详细的介绍了 ElasticSearch 的各种 api 使用。
实际的项目开发过程中,我们通常…

Spring Boot整合elasticSearch 实现数据高效搜索,实战讲解!

一、背景介绍

在2018年10月5日,一个做数据搜索服务的软件初创公司 Elastic,在纳斯达克上市。

而我们所熟悉的 ElasticSearch,正是 …

两分钟了解ElasticSearch的索引重建

q
在5.x版本之后ElasticSearch新增了索引重建功能,可以直接在ES集群里面对数据进行重建并且支持跨集群间的数据迁移。
1、什么是索引重建
在保证数…

数据工程师常见的10个数据统计问题

****数据工程师自诩自己是“比任何软件工程师更擅长统计,比任何统计学者更擅长软件工程的人”。这里枚举了数据工程师常见的10个数据统计问题,希望对大家有所帮助。…

干货 | 节约60%开发工时,离在线一体化数仓系统在携程旅游的落地实践

作者简介
Chengrui,携程后端开发专家,关注实时数据处理、AI基础平台建设以及数据产品等领域。
本文主要介绍离在线数据仓库建设在携程旅游团队的落地与实践,…

Apache Flink在滴滴的应用与实践

导读:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。…

干货 | 每天十亿级数据更新,秒出查询结果,ClickHouse在携程酒店的应用

作者简介
蔡岳毅,携程酒店大数据高级研发经理,负责酒店数据智能平台研发,大数据技术创新工作。喜欢探索研究大数据的开源技术框架。
一、背景
1)携程酒店每天有上千…

图解Storm并发机制及其执行流程

一、Storm架构简介
在上一篇,我们对Storm集群进行了搭建,并使用Java完成了代码的演示,我们知道在Storm中,先要设计一个用于实时计算的图状结构,我…

大数据时代必修技能 阿里HBase又放出了哪些大招?

前言
HBaseCon是Apache HBase官方举办的技术会议,主要目的是分享,交流HBase这个开源分布式大数据存储的使用和开发以及发展。HBaseCon…

深度 | 两个案例,掌握AI在大数据领域的前沿应用

阿里妹导读:近日,全球技术学习技术大会首次在京举行,阿里巴巴数据技术及产品部资深算法专家杨红霞(鸿侠)作为特邀嘉宾出席并发表主题演讲。鸿侠从什么是数据新能源说起…

你的数据库密码还在裸奔吗?试一试Druid数据库密码加解密吧!

Druid的功能

1、替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
2、可以监控数据库访问性能,Druid内置提供了…

阿里、Uber、谷歌、苹果的大牛都来了,Apache Flink技术盛宴有何魅力?

阿里妹注:今年4月,第三届Flink Forward大会在旧金山举行。Google,Uber,Airbnb,Amazon,Apple,Facebook等公司大牛…

阿里HBase超详实践总结 | 一文读懂大数据时代的结构化存储

前言
时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的”云梯”是当时国内名声显赫的计算平台。
这一年,Hadoop的好兄弟…