大数据量下Mysql的多表联合查询优化方案

在电商的履约业务中,运营人员或财务人员需要在一张excel中导出关于履约单的具体信息,如履约单下单信息、履约商品信息、 履约单送仓信息、履约单的物流信息等等,这些信息往往在同一个履约数据库的不同表中,如果要导出这些数据需要联表查询来获取数据。

假设在履约单的数据量很大的情况下,联表查询肯定是一个慢Sql,如果此时履约系统的并发量突增,此时极有可能由于慢Sql的原因将系统打崩溃。有没有什么办法来优化多表的联合查询问题呢?下面介绍几种优化方案。

1、字段冗余的宽表方案

宽表是将业务需要的数据字段冗余到一张数据表中,在查询的时候往往就不需要在联表查询了,这种设计虽然符合了业务需求但是违反了Mysql数据表的设计原则。宽表有如下的缺点:

(1)在添加或者删除字段的时候可能需要锁住表,如果并发较大的情况下,锁表会带来较多的问题。

(2)宽表很难清晰地看出表与表之间的联系,维护上不方便。

2、Mysql的JSON格式字段方案

自Mysql5.7.8版本开始就提供了一种JSON格式字段,它会自动的验证存储在JSON列中的JSON文档是否有效,如果有效就允许存储,反之不可以存储;可以在存储的JSON文档中快速读取文档元素数据。

创建一个JSON格式字段如下:

CREATE TABLE `my_test` (   
    `id` INT UNSIGNED NOT NULL, 
    `data` JSON NOT NULL, 
    PRIMARY KEY (`id`) 
);

存储JSON格式的数据:

insert into my_test values(1,'{"num": 1,"name": "abc","age": 20,"relation":{"borther": {"num": 1}, "sister": {"num": 2}}}');

查询数据添加情况:

添加条件查询

select 
       json_unquote(data -> '$.age') as age, 
       json_unquote(data -> '$.name') as name 
from my_test;

结果如下:

在数据量很大的时候,查询的时候依然是很慢的,原因是没有索引,如下的Sql语句解析:

explain select 
    json_unquote(data -> '$.age') as age, 
    json_unquote(data -> '$.num') as num 
from my_test where data -> '$.name' = 'abc';

解析的效果:

那么为了提高查询效率,我们可以给JSON中的字段添加虚拟列,然后给虚拟列添加索引:

alter table my_test 
    add column name varchar(64) as (json_unquote(data-> '$.name')) virtual; 
#添加索引 
create index idx_name on my_test (name);

添加虚拟列后的效果:

现在再执行解析后发现之前添加索引生效了,效果如下:

当前JSON格式的数据也可以很方便的修改,这块我们就不做过多的介绍了。根据以上的分析可以得出,业务需要的订单信息可以存放在到JSON格式的字段中存储,并且针对需要经常用来查询的字段我们通过虚拟列方法来添加索引,这样可以很好的实现业务需求。

JSON数据类型可以有效的解决多表多列场景下的数据查询性能问题,大大的简化了数据结构,便于数据的传输和管理。它特别适用于需要处理复杂数据结构的应用场景。

总结:

(1)简单的业务场景下,可以采用宽表的方式来满足业务需求,如果业务场景复杂的话建议使用 JSON 数据类型来做。

(2)宽表的字段也可以使用如Mongodb这样的中间件来帮助我们解决问题,我们都知道Mongodb其实是可以支持动态的增删字段列。

2