中国综合性科技类核心期刊(北大核心)

中国科学引文数据库来源期刊(CSCD)

美国《化学文摘》(CA)收录

美国《数学评论》(MR)收录

俄罗斯《文摘杂志》收录

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

LCDJ:面向内存集群计算的局部感知连接算法

张磊 周敏奇 王立

张磊, 周敏奇, 王立. LCDJ:面向内存集群计算的局部感知连接算法[J]. 华东师范大学学报(自然科学版), 2014, (5): 228-239. doi: 10.3969/j.issn.1000-5641.2014.05.020
引用本文: 张磊, 周敏奇, 王立. LCDJ:面向内存集群计算的局部感知连接算法[J]. 华东师范大学学报(自然科学版), 2014, (5): 228-239. doi: 10.3969/j.issn.1000-5641.2014.05.020
ZHANG Lei, ZHOU Min-Qi, WANG Li. LCDJ: Locality conscious join algorithm for in-memory cluster computing[J]. Journal of East China Normal University (Natural Sciences), 2014, (5): 228-239. doi: 10.3969/j.issn.1000-5641.2014.05.020
Citation: ZHANG Lei, ZHOU Min-Qi, WANG Li. LCDJ: Locality conscious join algorithm for in-memory cluster computing[J]. Journal of East China Normal University (Natural Sciences), 2014, (5): 228-239. doi: 10.3969/j.issn.1000-5641.2014.05.020

LCDJ:面向内存集群计算的局部感知连接算法

doi: 10.3969/j.issn.1000-5641.2014.05.020
基金项目: 

国家自然科学基金(61332006)

详细信息
    作者简介:

    张磊,男,硕士研究生,研究方向为内存数据库系统. E-mail: zhangleicasa@gmail.com.

    通讯作者:

    周敏奇,男,博士,副教授,硕士生导师,研究方向为内存数据库系统.

  • 中图分类号: TP301.6

LCDJ: Locality conscious join algorithm for in-memory cluster computing

  • 摘要: 等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.
  • 加载中
计量
  • 文章访问数:  1155
  • HTML全文浏览量:  29
  • PDF下载量:  1338
  • 被引次数: 0
出版历程
  • 刊出日期:  2014-09-25

目录

    /

    返回文章
    返回