博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
跨数据库查询:MySQL inner join PostgreSQL inner join ...
阅读量:5901 次
发布时间:2019-06-19

本文共 2518 字,大约阅读时间需要 8 分钟。

hot3.png

昨天重温h2 database的文档时,看到一个一直被我无视的命令create linked table!仔细研究后发现这绝对是一个NB的功能:可实现跨不同类型数据库的连接查询!

按照官方文档的介绍,create linked table可以创建一张表,链接到任何支持JDBC的外部数据库中的表。执行简单查询(无join语句)时,会自动将查询语句发送给外部数据库;如果有join语句,这查询语句会被自动翻译成相应的简单查询语句,再发送给外部数据库。

分库

例如,MySQL中有用户表users (id, name)PostgreSQL中有收藏夹表favorites (id, user_id, name, link)。要求查询获得id1的用户名和收藏中所有的链接,通常需要分两步:

  1. users中查询id1的记录;
  2. favorites中查询user_id的链接。

利用linked table,解决方案是:

  1. 先创建users表的映射,指定使用的JDBC驱动、地址、用户名、密码和表名。
  2. 再创建favorites表的映射,参数与#1相同。
  3. 通过inner join查询获得指定用户的名字与收藏夹中的链接。
create linked table users ('com.mysql.jdbc.Driver', 'jdbc:mysql://host/database_name', 'username', 'password', 'users');create linked table favorites ('org.postgresql.Driver', 'jdbc:postgresql://host/database_name', 'username', 'password', 'favorites');select users.name, favorites.link from favorites inner join users on favorites.user_id = users.id where user.id = 1;

原理

根据官网的介绍,我YY了一下linked table底层的实现原理,应该是先把查询翻译成简单查询语句后,再从远程数据库获取数据并存入临时表中,在本地做join等相关的处理后,最后将结果返回给调用者。因此上述的查询会被拆分成:

  1. select id, name from users where id = 1
  2. select user_id, link from favorites

并分别发送到相应的外部数据库上执行。

不足

从上述的原理可以看出这种解决方案的一个不足之处:favorites表的查询语句没有带上条件语句,即全表查询。因为自动生成简单查询语句时,只能从原始语句中提取每张表自己相关的条件语句,如果改用name为关键字查询,此时就无法预测与favoritesjoinuser_id的范围。

此外limittop这种分页语句,在包含join的语句中也无法预测最终被选中的是哪几条数据,因此也不会发送给外部数据库。例如,select * from favorites limit 1,服务器上真正执行的是select * from favroiteslimit 1这个操作是在h2的内存中实现的,如果远程favorites表非常大,这条语句执行会非常慢,甚至Out of Memory

对于上例,解决方法是在原始语句中为favorites也添加相应的过滤条件:select users.name, favorites.link from favorites inner join users on favorites.user_id = users.id where user.id = 1 and favorites.user_id = 1。但这显然不是万能的,只能在所有表都确定范围的情况下才能使用。

分表

遗留系统中还会遇到许多采用物理分表设计的数据库,例如把users拆分成users_00users_01等一百张表,而不是使用分区,查询前不得不先动态计算表名。

在尝试了合并分库后,我又测试了通过view合并拆分的linked table的方案:

create linked table users_00 ('com.mysql.jdbc.Driver', 'jdbc:mysql://host/database_name', 'username', 'password', 'users_00');create linked table users_99 ('com.mysql.jdbc.Driver', 'jdbc:mysql://host/database_name', 'username', 'password', 'users_01');...create linked table users_99 ('com.mysql.jdbc.Driver', 'jdbc:mysql://host/database_name', 'username', 'password', 'users_99');create view users (id, name) as  select id, name from users_00union all  select id, name from users_01...union all  select id, name from users_99;

我在线上条了一个分100张的表,每张表的数据量约200万行。测试了一条比较复杂的查询,结果是直接使用union all在原始库中查询,执行时间月130ms;通过h2view查询,约330ms。性能仅相差2-3倍!

结论

经过上述测试,我认为通过h2跨数据库合表查询的方案可用于查询不复杂且性能非重要指标的场景,例如我打算下次把它用在报表系统中~

转载于:https://my.oschina.net/redraiment/blog/613078

你可能感兴趣的文章
Windows 10预览版之抢先体验—短命的METRO界面
查看>>
串口ic读卡器源码-c#代码
查看>>
虚拟机安装与概述(1)
查看>>
使用Python一年多了,总结八个好用的Python爬虫技巧
查看>>
网页首页广告显示缓慢向上消失
查看>>
组播学习笔记(二)IGMP协议
查看>>
清华大学:模拟电子技术基础
查看>>
Java中常用的内存区域
查看>>
使用Nginx容器
查看>>
中级学员:2015年10月15日作业
查看>>
Filebeat 日志收集器 安装和配置
查看>>
磁盘和文件系统管理
查看>>
基于SaltStack完成LVS的配置管理
查看>>
即时通讯过程中如何设置音视频质量参数
查看>>
海洋个人简历软件
查看>>
hdu 6050 Funny Function 矩阵快速幂
查看>>
Java学习笔记—第五章 运算符和表达式
查看>>
我的友情链接
查看>>
nginx+set-misc-nginx-module模块说明
查看>>
Linux内核TCP/IP参数优化
查看>>