MySQL千万级大数据量查询优化方案

目 的
Mysql查询性能优化要从三个方面考虑,库表结构优化、索引优化和查询优化。
优化方案
2.1 where条件过滤数据多的放在前面,减少产生的临时表的数据…

滴滴数据服务体系建设实践

什么是数据服务化
大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。数据集成打通了业务系统数据进入大数据环境的通道,通常包含周期性导入离线…

Apache Flink在滴滴的应用与实践

导读:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。…

【面试必备】如何在10亿数中找出前1000大的数?

作者:channingbreeze | 微信公众号:互联网侦察
小史是一个应届生,虽然学的是电子专业,但是自己业余时间看了很多互联网与编程方面的书,一心想进BA…

【面试现场】如何判断一个数是否在40亿个整数中?

作者:channingbreeze | 微信公众号:互联网侦察
小史是一个应届生,虽然学的是电子专业,但是自己业余时间看了很多互联网与编程方面的书,一心想进BA…

Java程序员需要掌握的8大排序算法

排序大的分类可以分为两种:内排序和外排序。在排序过程中,全部记录存放在内存,则称为内排序,如果排序过程中需要使用外存,则称为外排序。下面讲的排序都是属于内排序…

Java程序员,你一定需要了解的六款大数据采集平台

亲爱的小伙伴,抽点时间帮忙投一下票,选一下您目前所处的阶段,以便后期推出更多对您有帮助的文章和内容哦!
随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天…

大数据时代必修技能 阿里HBase又放出了哪些大招?

前言
HBaseCon是Apache HBase官方举办的技术会议,主要目的是分享,交流HBase这个开源分布式大数据存储的使用和开发以及发展。HBaseCon…

深度 | 两个案例,掌握AI在大数据领域的前沿应用

阿里妹导读:近日,全球技术学习技术大会首次在京举行,阿里巴巴数据技术及产品部资深算法专家杨红霞(鸿侠)作为特邀嘉宾出席并发表主题演讲。鸿侠从什么是数据新能源说起…

你的数据库密码还在裸奔吗?试一试Druid数据库密码加解密吧!

Druid的功能

1、替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
2、可以监控数据库访问性能,Druid内置提供了…

6行python代码的爱心线

前些日子在做绩效体系的时候,遇到了一件囧事,居然忘记怎样在Excel上拟合正态分布了,尽管在第二天重新拾起了Excel中那几个常见的函数和图像的做法,还是十分的…

阿里HBase超详实践总结 | 一文读懂大数据时代的结构化存储

前言
时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的”云梯”是当时国内名声显赫的计算平台。
这一年,Hadoop的好兄弟…

【友盟+】COO叶谦:解读全域大数据战略背后的技术演进

今年年初,Oracle发布了一份大数据变化趋势报告,报告中指出,越来越多的企业将用户分析甚至是企业应用同大数据加以结合。从AI支持型应用到Megabox等数据流…

双11技术电子书精彩内容节选–大数据技术篇

双11数据大屏背后的实时计算处理
作者:藏六 黄晓锋 同杰
双11数据大屏的实时计算架构
2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体…

tataUFO 大数据应用实践

感谢tataUFO各位同仁的大力支持,帮助我顺利完成了在QingCloud Insigt 2016技术大会上的演讲,特将讲稿PPT分享出来,共勉!

一、引子

NoSQL 之于大数据

关系型数据库几乎是许多开发者和DBA对于传统三层架构应用的唯一选择。使用这一场景有很多原因,数据建模方法,查询语言与数据交互,保证数据的一致性部署,并能够为复杂…

从应用架构看大数据

如果每个人的心中都有一把青冥剑,那么每个人的眼中有自己大数据。这是一个所谓大数据的年代,但是从应用架构的层面看,大数据应用一般都是数据密集型的应用,可以从分层的…

架构大数据应用

数据管理比以往更加复杂,到处都是大数据,包括每个人的想法以及不同的形式:广告 , 社交图谱,信息流 ,推荐 ,市场, 健康, 安全, 政府等等。 过去的三年里,…