首页 Java Java分布式开发不得不知的Dubbo技术详细介绍

Java分布式开发不得不知的Dubbo技术详细介绍

Author: java工程师 · 分类： Java ·    2024年12月 · tags:

1 dubbox简介

随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。

  • 单一应用架构
    当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。
    此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
  • 垂直应用架构
    当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。
    此时，用于加速前端页面开发的 Web框架(MVC) 是关键。
  • 分布式服务架构
    当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。
    此时，用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
  • 流动计算架构
    当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。
    此时，用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。

dubbox是dubbo的扩展，主要在dubbo的基础上进行了一下的改进：

1、支持REST风格远程调用（HTTP + JSON/XML)：基于非常成熟的JBoss RestEasy框架，在dubbo中实现了REST风格（HTTP + JSON/XML）的远程调用，以显著简化企业内部的跨语言交互，同时显著简化企业对外的Open API、无线API甚至AJAX服务端等等的开发。事实上，这个REST调用也使得Dubbo可以对当今特别流行的“微服务”架构提供基础性支持。 另外，REST调用也达到了比较高的性能，在基准测试下，HTTP + JSON与Dubbo 2.x默认的RPC协议（即TCP + Hessian2二进制序列化）之间只有1.5倍左右的差距，详见文档中的基准测试报告。

2、支持基于Kryo和FST的Java高效序列化实现：基于当今比较知名的Kryo和FST高性能序列化库，为Dubbo默认的RPC协议添加新的序列化实现，并优化调整了其序列化体系，比较显著的提高了Dubbo RPC的性能，详见文档中的基准测试报告。

3、支持基于Jackson的JSON序列化：基于业界应用最广泛的Jackson序列化库，为Dubbo默认的RPC协议添加新的JSON序列化实现。

4、支持基于嵌入式Tomcat的HTTP remoting体系：基于嵌入式tomcat实现dubbo的HTTP remoting体系（即dubbo-remoting-http），用以逐步取代Dubbo中旧版本的嵌入式Jetty，可以显著的提高REST等的远程调用性能，并将Servlet API的支持从2.5升级到3.1。（注：除了REST，dubbo中的WebServices、Hessian、HTTP Invoker等协议都基于这个HTTP remoting体系）。

5、升级spring：将dubbo中Spring由2.x升级到目前最常用的3.x版本，减少版本冲突带来的麻烦。

6、升级ZooKeeper客户端：将dubbo中的zookeeper客户端升级到最新的版本，以修正老版本中包含的bug。

7、支持完全基于Java代码的Dubbo配置：基于Spring的Java Config，实现完全无XML的纯Java代码方式来配置dubbo

8、调整Demo应用：暂时将dubbo的demo应用调整并改写以主要演示REST功能、Dubbo协议的新序列化方式、基于Java代码的Spring配置等等。
9、修正了dubbo的bug 包括配置、序列化、管理界面等等的bug。

2 dubbo架构构成

dubbo运行架构如下图示：

  • 节点角色说明：

1、Provider:暴露服务的服务提供方。 Consumer: 调用远程服务的服务消费方。2、Registry:服务注册与发现的注册中心。Monitor: 统计服务的调用次调和调用时间的监控中心。3、Container: 服务运行容器。
  • 调用关系说明：
    1、服务容器负责启动，加载，运行服务提供者。
    2、服务提供者在启动时，向注册中心注册自己提供的服务。
    3、服务消费者在启动时，向注册中心订阅自己所需的服务。
    4、注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。
    5、服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。
    6、服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。

3 dubbo的特性

(1) 连通性：

注册中心负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小监控中心负责统计各服务调用次数，调用时间等，统计先在内存汇总后每分钟一次发送到监控中心服务器，并以报表展示服务提供者向注册中心注册其提供的服务，并汇报调用时间到监控中心，此时间不包含网络开销服务消费者向注册中心获取服务提供者地址列表，并根据负载算法直接调用提供者，同时汇报调用时间到监控中心，此时间包含网络开销注册中心，服务提供者，服务消费者三者之间均为长连接，监控中心除外注册中心通过长连接感知服务提供者的存在，服务提供者宕机，注册中心将立即推送事件通知消费者注册中心和监控中心全部宕机，不影响已运行的提供者和消费者，消费者在本地缓存了提供者列表
注册中心和监控中心都是可选的，服务消费者可以直连服务提供者

(2) 健状性：

监控中心宕掉不影响使用，只是丢失部分采样数据数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务注册中心对等集群，任意一台宕掉后，将自动切换到另一台注册中心全部宕掉后，服务提供者和服务消费者仍能通过本地缓存通讯服务提供者无状态，任意一台宕掉后，不影响使用服务提供者全部宕掉后，服务消费者应用将无法使用，并无限次重连等待服务提供者恢复

(3) 伸缩性：

注册中心为对等集群，可动态增加机器部署实例，所有客户端将自动发现新的注册中心
服务提供者无状态，可动态增加机器部署实例，注册中心将推送新的服务提供者信息给消费者

(4) 升级性：

当服务集群规模进一步扩大，带动IT治理结构进一步升级，需要实现动态部署，进行流动计算，现有分布式服务架构不会带来阻力：

4 dubbo的调用方式

  • 异步调用

基于NIO的非阻塞实现并行调用，客户端不需要启动多线程即可完成并行调用多个远程服务，相对多线程开销较小。

  • 本地调用

本地调用，使用了Injvm协议，是一个伪协议，它不开启端口，不发起远程调用，只在JVM内直接关联，但执行Dubbo的Filter链。

Define injvm protocol:

Set default protocol:

Set service protocol:

Use injvm first:


或

注意：服务暴露与服务引用都需要声明injvm=“true”

5 dubbo支持的注册中心

Dubbo提供的注册中心有如下几种类型可供选择：

  • Multicast注册中心
  • Zookeeper注册中心
  • Redis注册中心
  • Simple注册中心

ZooKeeper是一个开源的分布式服务框架，它是Apache Hadoop项目的一个子项目，主要用来解决分布式应用场景中存在的一些问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置管理等，它支持Standalone模式和分布式模式，在分布式模式下，能够为分布式应用提供高性能和可靠地协调服务，而且使用ZooKeeper可以大大简化分布式协调服务的实现，为开发分布式应用极大地降低了成本。

ZooKeeper总体架构

ZooKeeper集群由一组Server节点组成，这一组Server节点中存在一个角色为Leader的节点，其他节点都为Follower。当客户端Client连接到ZooKeeper集群，并且执行写请求时，这些请求会被发送到Leader节点上，然后Leader节点上数据变更会同步到集群中其他的Follower节点。

6 dubbo支持的远程通信协议

远程通信需要指定通信双方所约定的协议，在保证通信双方理解协议语义的基础上，还要保证高效、稳定的消息传输。Dubbo继承了当前主流的网络通信框架，主要包括如下几个：

  • Mina
  • Netty
  • Grizzly

7 dubbo支持的远程调用协议

Dubbo支持多种协议，如下所示：

  • Dubbo协议
  • Hessian协议
  • HTTP协议
  • RMI协议
  • WebService协议
  • Thrift协议
  • Memcached协议
  • Redis协议

在通信过程中，不同的服务等级一般对应着不同的服务质量，那么选择合适的协议便是一件非常重要的事情。你可以根据你应用的创建来选择。例如，使用RMI协议，一般会受到防火墙的限制，所以对于外部与内部进行通信的场景，就不要使用RMI协议，而是基于HTTP协议或者Hessian协议。

8 dubbo集群容错和负载均衡

1、集群容错

在集群调用失败时，Dubbo提供了多种容错方案，缺省为failover重试。

  • Failover Cluster
    失败自动切换，当出现失败，重试其它服务器。(缺省)
    通常用于读操作，但重试会带来更长延迟。
    可通过retries=“2”来设置重试次数(不含第一次)。
  • Failfast Cluster
    快速失败，只发起一次调用，失败立即报错。
    通常用于非幂等性的写操作，比如新增记录。
  • Failsafe Cluster
    失败安全，出现异常时，直接忽略。
    通常用于写入审计日志等操作。
  • Failback Cluster
    失败自动恢复，后台记录失败请求，定时重发。
    通常用于消息通知操作。
  • Forking Cluster
    并行调用多个服务器，只要一个成功即返回。
    通常用于实时性要求较高的读操作，但需要浪费更多服务资源。
    可通过forks=“2”来设置最大并行数。
  • Broadcast Cluster
    广播调用所有提供者，逐个调用，任意一台报错则报错。(2.1.0开始支持)
    通常用于通知所有提供者更新缓存或日志等本地资源信息。

2、负载均衡

  • Random LoadBalance随机，按权重设置随机概率。
    在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。

  • RoundRobin LoadBalance 轮循，按公约后的权重设置轮循比率。
    存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。

  • LeastActive LoadBalance 最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差。
    使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大。

  • ConsistentHash LoadBalance 一致性Hash，相同参数的请求总是发到同一提供者。
    当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。

配置如：

9 dubbo源代码结构


Dubbo以包结构来组织各个模块，各个模块及其关系，如图所示：

  • dubbo-common 公共逻辑模块，包括Util类和通用模型。
  • dubbo-remoting 远程通讯模块，相当于Dubbo协议的实现，如果RPC用RMI协议则不需要使用此包。
  • dubbo-rpc 远程调用模块，抽象各种协议，以及动态代理，只包含一对一的调用，不关心集群的管理。
  • dubbo-cluster 集群模块，将多个服务提供方伪装为一个提供方，包括：负载均衡、容错、路由等，集群的地址列表可以是静态配置的，也可以是由注册中心下发。
  • dubbo-registry 注册中心模块，基于注册中心下发地址的集群方式，以及对各种注册中心的抽象。
  • dubbo-monitor 监控模块，统计服务调用次数，调用时间的，调用链跟踪的服务。
  • dubbo-config 配置模块，是Dubbo对外的API，用户通过Config使用Dubbo，隐藏Dubbo所有细节。
  • dubbo-Container 容器模块，是一个Standalone的容器，以简单的Main加载Spring启动，因为服务通常不需要Tomcat/JBoss等Web容器的特性，没必要用Web容器去加载服务。

10 Dubbo内核实现之SPI简单介绍

Dubbo采用微内核+插件体系，使得设计优雅，扩展性强。那所谓的微内核+插件体系是如何实现的呢！即我们定义了服务接口标准，让厂商去实现（如果不了解spi的请谷歌百度下）, jdk通过ServiceLoader类实现spi机制的服务查找功能。

JDK实现spi服务查找: ServiceLoader

首先定义下示例接口


package com.example;public interface Spi {    booleanisSupport(String name);    
String sayHello();}

ServiceLoader会遍历所有jar查找META-INF/services/com.example.Spi文件

A厂商提供实现


package com.a.example;public class SpiAImpl implements Spi {
    public boolean isSupport(String name) {        return"SPIA".equalsIgnoreCase(name.trim());   
    }    
    public String syaHello() {
    return “hello 我是厂商A”;    
    }
}

在A厂商提供的jar包中的META-INF/services/com.example.Spi文件内容为：

com.a.example.SpiAImpl #厂商A的spi实现全路径类名

B厂商提供实现


package com.b.example;public class SpiBImpl implements Spi {    
public boolean isSupport(String name) {        return"SPIB".equalsIgnoreCase(name.trim());   
} 
public String syaHello() {
    return “hello 我是厂商B”;    
    }
}

在B厂商提供的jar包中的META-INF/services/com.example.Spi文件内容为：

com.b.example.SpiBImpl #厂商B的spi实现全路径类名

ServiceLoader.load(Spi.class)读取厂商A、B提供jar包中的文件，ServiceLoader实现了Iterable接口可通过while for循环语句遍历出所有实现。

一个接口多种实现，就如策略模式一样提供了策略的实现，但是没有提供策略的选择， 使用方可以根据isSupport方法根据业务传入厂商名来选择具体的厂商。


public class SpiFactory {    //读取配置获取所有实现    
private static ServiceLoader spiLoader = ServiceLoader.load(Spi.class);    //根据名字选取对应实现    
public static Spi getSpi(String name) {
    for(Spi spi : spiLoader) {
        if(spi.isSupport(name) ) { 
            returnspi;            
            }        
        }        
        returnnull;    
    }
}

SPI接口定义

定义了@SPI注解


public @interface SPI {    Stringvalue() default ""; //指定默认的扩展点}

只有在接口打了@SPI注解的接口类才会去查找扩展点实现，会依次从这几个文件中读取扩展点


META-INF/dubbo/internal/ //dubbo内部实现的各种扩展都放在了这个目录了META-INF/dubbo/META-INF/services/

我们以Protocol接口为例， 接口上打上SPI注解，默认扩展点名字为dubbo


@SPI("dubbo")public interface Protocol{}

具体实现的类有:


所以说：Remoting实现是Dubbo协议的实现.

另外Dubbo项目的案例小Demo可以参考：https://git.oschina.net/xuliugen/dubbodemo.git

更多文章参考：

1、 Dubbo详细介绍与安装使用过程 ：http://blog.csdn.net/xlgen157387/article/details/51865289

2、Dubbo无法访问远程Zookeeper已注册服务的问题 ：http://blog.csdn.net/xlgen157387/article/details/50385266

3、Dubbo-admin无法显示Group分组信息 ：http://blog.csdn.net/xlgen157387/article/details/50385266

4、Dubbo消费者无法连接到生产者提供的服务？内网IP？

:http://blog.csdn.net/xlgen157387/article/details/52702659