中国综合性科技类核心期刊(北大核心)

中国科学引文数据库来源期刊(CSCD)

美国《化学文摘》(CA)收录

美国《数学评论》(MR)收录

俄罗斯《文摘杂志》收录

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

数据存储与处理分离架构下的子链接消除及优化

王彦朝 胡卉芪 张召 刘小兵 段惠超

王彦朝, 胡卉芪, 张召, 刘小兵, 段惠超. 数据存储与处理分离架构下的子链接消除及优化[J]. 华东师范大学学报(自然科学版), 2018, (4): 90-98. doi: 10.3969/j.issn.1000-5641.2018.04.009
引用本文: 王彦朝, 胡卉芪, 张召, 刘小兵, 段惠超. 数据存储与处理分离架构下的子链接消除及优化[J]. 华东师范大学学报(自然科学版), 2018, (4): 90-98. doi: 10.3969/j.issn.1000-5641.2018.04.009
WANG Yan-zhao, HU Hui-qi, ZHANG Zhao, LIU Xiao-bing, DUAN Hui-chao. Sublink elimination and optimization in data storage and processing separation architecture[J]. Journal of East China Normal University (Natural Sciences), 2018, (4): 90-98. doi: 10.3969/j.issn.1000-5641.2018.04.009
Citation: WANG Yan-zhao, HU Hui-qi, ZHANG Zhao, LIU Xiao-bing, DUAN Hui-chao. Sublink elimination and optimization in data storage and processing separation architecture[J]. Journal of East China Normal University (Natural Sciences), 2018, (4): 90-98. doi: 10.3969/j.issn.1000-5641.2018.04.009

数据存储与处理分离架构下的子链接消除及优化

doi: 10.3969/j.issn.1000-5641.2018.04.009
基金项目: 

上海市,2017,年扬帆科技人才计划项目 17YF1427800

详细信息
    作者简介:

    王彦朝, 男, 硕士研究生, 研究方向为数据存储与数据挖掘.E-mail:wyz159753@126.com

    通讯作者:

    胡卉芪, 男, 助理研究员, 研究方向为数据库.E-mail:hqhu@dase.ecnu.edu.cn

  • 中图分类号: TP311.1

Sublink elimination and optimization in data storage and processing separation architecture

  • 摘要: 在数据存储与处理分离架构下的,NewSQL,数据库中实现了子链接消除的功能,使其支持大部分子链接的执行,减少了从集中式数据库向分布式数据库迁移所需要的,SQL,改造代价,使得,NewSQL,数据库可以在电信、银行等传统行业投入使用.同时针对数据存储与处理分离的架构,对子链接消除之后的执行进行了优化,尽量减少了不同服务器之间数据的传输量.实现的结果使得,NewSQL,成功支持了大部分的子链接,且子链接执行效率也得到了提升.
  • 图  1  未优化的子链接执行流程

    Fig.  1  Unoptimized sublink execution flow

    图  2  优化的子链接执行流程

    Fig.  2  Optimized sublink execution flow

    图  3  实验结果

    Fig.  3  Experimental results

  • [1] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: A distributed storage system for structured data[C]//Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation. Berkeley: USENIX Associaition, 2006, 205-218.
    [2] CHODOROW K. MongoDB: The Definitive Guide[M]. [S. l. ]: O'Reilly Media Inc, 2013.
    [3] CORBETT J C, DEAN J, EPSTEIN M, et al. Spanner: Google's globally distributed database[C]//Proceedings of the 10th USENIX Symposium on Operating Systems Design and Implementation. Berkeley: USENIX Associaition, 2012, 251-264.
    [4] ALIBABA. OceanBase[EB/OL]. [2017-05-02]. https://github.com/alibaba/oceanbase.
    [5] daseECNU. Cedar[EB/OL]. [2017-05-02]. https://github.com/daseECNU/Cedar.
    [6] STONEBRAKER M, HANSON E, HONG C H. The design of POSTGRES rules system[C]//1987 IEEE 3rd International Conference on Data Engineering. IEEE, 1987: 365-374.
    [7] 李海翔.数据库查询优化器的艺术:原理解析与SQL性能优化[M].北京:机械工业出版社, 2014:2-263.
    [8] SESHADRI P, PIRAHESH H, LEUNG T Y C. Complex query decorrelation[C]//Proceedings of the 12th International Conference on Data Engineering. IEEE, 1996: 450-458.
    [9] RAO J, ROSS K A. Reusing invariants:A new strategy for correlated queries[J]. ACM SIGMOD Record, 1998, 27(2):37-48. doi:  10.1145/276305
    [10] BURTON H. Bloom, space/time trade-offs in hash coding with allowable errors[J]. Communications of the ACM, 1970, 13(7):422-426. doi:  10.1145/362686.362692
  • 加载中
图(3)
计量
  • 文章访问数:  134
  • HTML全文浏览量:  58
  • PDF下载量:  264
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-06-26
  • 刊出日期:  2018-07-25

目录

    /

    返回文章
    返回