Hadoop是什么?它是如何工作的?

Hadoop是什么?它是如何工作的?为什么 Hadoop可以成为全球最流行的大数据处理框架之一?如何基于 Hadoop搭建一套简单的分布式文件系统?这篇我们一起…

Docker是什么?K8s又是什么?如何从0到1实战Docker与K8s全流程部署?

云原生时代,作为技术人员,如果不了解 Docker 和 Kubernetes,那绝对是技术栈上的一个短板。那么,什么是 Docker?什么又是 Kubernet…

破茧成蝶 – Serverless Kubernetes 的思考与征程(二)

本文主要针对 Serverless Container 技术的特殊性,分享其对 Kubernetes 的架构影响,以及阿里云在Serverless Kuber…

没有索引也能用SQL ?深度解析 SLS Schema-on-Read 分析原理与应用

为了能够更灵活的挖掘日志数据背后的价值,SLS提出了一种不需要事先建立索引就能对数据进行分析的模式。本文对SLS Schema-on-Read分析的提出背景、…

支付宝定时任务怎么做?三层分发任务处理框架介绍

本文将从单机定时调度开始,循序渐进地带领大家了解五福定制三层分发任务处理框架。
一、背景介绍
技术同学对定时任务肯定不陌生。定时任务一般用来定时批量进行业务处…

亚马逊的实践 :分布式系统的难点

分布式系统中需要注意的问题
问题一:异构系统的不标准问题
在软件开发和运维过程中,存在许多标准化问题。例如,软件和应用缺乏统一的标准,通讯协议和数据格式各不相同…

同城双活:如何实现机房之间的数据同步?

在业务初期,为了控制投入成本,许多公司通常只使用一个机房提供服务。但随着业务的发展和流量的增长,对服务响应速度和可用性的要求逐渐提高,这时就需要考虑在不同地区…

跳数索引:后起新秀ClickHouse

在之前的学习进程中,我们已然领略到了 Elasticsearch 那强大的功能特性。然而,当进行技术选型之际,价格这一因素的影响力不容小觑。Elasticsea…

引擎分片:Elasticsearch如何实现大数据检索?

为什么 ELK 的功能如此强大呢?这就需要我们对 ELK 中储存、索引等关键技术点的架构实现进行深入了解才能弄明白。相信在学习完今天的内容之后,大家对于大数据分…

流量拆分:如何通过架构设计缓解流量压力?

今天,我打算以直播互动作为例子,引领大家一同去了解在面对读多写多的情况时,应当怎样去应对所产生的流量压力。通常而言,这类服务在多数情况下都属于实时互动服务。由于…

业务脚本:为什么说可编程订阅式缓存服务更有用?

我们已经习惯了使用缓存集群对数据做缓存。然而,这种常见的内存缓存服务存在诸多不便之处。首先,集群会独占大量的内存。这意味着在资源有限的情况下,可能会对其他系统资…

流量调度:DNS、全站加速及机房负载均衡

我们已经学习了有关从架构设计层面去应对流量压力的相关内容。大家都知道,像直播这类服务呀,其用户流量是很难预先准确估计的。一旦用户流量增大到某个程度,达到一个机房…

业务缓存:元数据服务如何实现?

当你打开微博或一个新闻网站时,眼前会呈现出丰富的媒体文件:图片、文本、音频、视频等应有尽有。有时,一个页面甚至由成百上千个文件组合而成。那么,这些文件究竟存放在…

网关编程:如何通过用户网关和缓存降低研发成本?

如果说用户的流量就像波涛汹涌的海浪,那网关就是防御冲击的堤坝。在大型的互联网项目里,网关必不可少,是我们目前最好用的防御手段。通过网关,我们能把大量的流量分流到…

从零开发——微前端框架实践

我们对微前端框架的内容做了一个详细的介绍,并从零开始用Typescript实现了微前端的基本功能。
本文我们首先实现一个可进行子应用注册和资源加载的微前端框架…

一文读懂OSS、NAS、EBS有什么区别?

本文主要介绍常用的存储类型及它们之间的对比差异,辅助帮助大家在不同需求和场景下选择合适的存储类型。
近期,AIGC、GPT大模型、数据中台等热点话题备受关注,…

深入浅出流批一体理论篇——数据架构的演进

这篇文章的主要内容包括:1、数据架构的演变历史与各种架构的优缺点。2、流批一体的价值。3、流批一体架构中流与批的关系。
一、前大数据时代
人人都知道罗马不是一…

共识协议的技术变迁 — 既要“高”容错,又要“易”定序,还要“好”理解

这篇文章与读者朋友们好好聊一聊共识这个技术领域,期望能够让大伙儿对共识协议的前世今生以及这些年的技术演进有个大体了解。

There is no compre…

八年磨一剑,四大技术视角总结云上应用管理实践

这篇文章是阿里云 EDAS 团队在近八年服务客户的过程中,在应用管理两大领域(容量管理和流量管理)方向往云时代迈进时所呈现出来的不同进行深入剖析与总结,以帮助…

【大数据开发必读】一张图帮你快速建立大数据知识体系

前言
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖…