当前位置:人间百态>今日热点 >   字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

导读:近期,第39届IEEE数据工程国际会议(以下简称ICDE )在美国加利福尼亚召开,由字节跳动数据平台提交的论文聚焦数据库领域,提出 WaLSM架构设计、优化和性能提升的创新技术方案,成功被大会收录。ICDE是全球数据库领域的三大会议之一,重点面向数据工程和数据密集型系统研

最近,第39届IEEE数据工程国际学术会议(下称ICDE )在美国加利福尼亚举办,由巨量引擎大数据平台递交的毕业论文对焦数据库系统行业,明确提出 WaLSM架构模式、优化性能增加的突破技术规范,取得成功被交流会百度收录。

ICDE是全球数据库行业的三大大会之一,关键面向数据工程及数据密集型系统软件科研人员, 专注于处理设计方案、搭建、管理方法和评估高端数据密集型系统及应用软件领域的研究难题,都是科研人员、从业人员、开发者与用户探寻最前沿观念并沟通交流技术性、工具工作经验的领跑社区论坛。

据了解,此次 ICDE 深深吸引大概700人参加,共接受256篇文章,在其中14篇为数据库管理有关研究。做为数据库管理科研成果之一,巨量引擎大数据平台递送论文《Workload-Aware Log-Structured Merge Key-Value Store for NVM-SSD Hybrid Storage 》,重新定位 WaLSM,对于真正负荷具有强浏览歪斜的特点,融合 DRAM-NVM-SSD 分布式存储优点,明确提出自适应的 LSM-tree 优化计划方案,具有很强的技术性创新能力,因此被ICDE百度收录。

字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

巨量引擎专家团在ICDE 2023展示区

此项成效的创新能力取决于,WaLSM 提出了一种基本无附加花销的数据分区方法,对电脑硬盘上的数据开展系统分区,减少 Merge 对策调节粒度分布,增强了对于电脑硬盘上负荷捕获访问模式能力。以系统分区为基准,WaLSM 在现实负荷下根据强化学习算法,适用响应式地调节每个系统分区所使用的 Merge 对策,以更快完成写变大与查看盈利之间的关联。

值得一提的是,本次文章中的成效今后将根据ByteHouse扩大开放。ByteHouse是火山引擎智慧运营服务平台集团旗下的一款云原生数据库管理,支撑点实时数据分析、海量信息离线分析,为消费者提供极速体验,而WaLSM 的响应式调节优化算法能够帮助 ByteHouse 依据真正负荷中数据网络热点寻找全局性较好的 Merge 对策,减少 IO 花销,最后提高MergeTree 存储引擎的总体货运量。

据了解,巨量引擎在2017年便开始规模性开启ClickHouse,并且拥有着中国最大规模ClickHouse集群式。面对ToB销售市场上线的ByteHouse乃是巨量引擎在大量工作经验实践上,对ClickHouse深层提升、自主研发更新改造的成效。

从架构设计上来说,ByteHouse使用了自主研发的高可用性模块,适用数据信息自动更新、删掉,增加了自主研发的查询优化器,而且在集群式的运维和多表关联的画面都进行了对应的提高,确保客户在复杂查询的场景中具有更高查看效率。

现阶段,海王集团、中国地震台网中心等领域的顾客早已与火山引擎ByteHouse战略合作,根据海量信息实时分析的急速服务项目,辅助决策落地式,加快业务流程洞悉,又好又快地完成数智化转型更新。

标签:
相关阅读
为您推荐
  • 上汽飞凡确定出席「让业务用起来」2023观远数据敏捷分析实践巡展·上海站
    上汽飞凡确定出席「让业务用起来」2023观远数据敏捷分析实践巡展·上海站
    2023-05-24 08:11:23
    当前,车企正站在数字化转型的浪潮之巅。一方面,中国车市已由增量市场转为存量市场,汽车产业向新能源电动、自动驾驶等高端智能、服务化转移的方向明晰可见;另一方面,数字技术正全面融入车企生命周期运营体系,深度重构汽车价值链及运营模式。此外,随着消费者需求升级,车企
  • 以点滴能量 汇筑爱的港湾 所托瑞安“安行”公益汇聚爱的力量
    以点滴能量 汇筑爱的港湾 所托瑞安“安行”公益汇聚爱的力量
    2023-05-24 08:11:19
    积露成波,涓滴成河。自2020年起,所托瑞安携手中国乡村发展基金会(原“中国扶贫基金会”)一同发起所托“安行”公益帮扶救助项目,至此该项目已经走过了三个年头。伴随着公益项目帮扶卡友数量的增多,线下慰问活动逐步开展,所托瑞安也收到了来自这些卡友越来越多的真挚
  • 虚拟仿真技术革新职教技能实训模式,积木易搭地铁轨道VR虚拟仿真解决方案,助力沉浸式轨道交通教学
    虚拟仿真技术革新职教技能实训模式,积木易搭地铁轨道VR虚拟仿真解决方案,助力沉浸式轨道交通教学
    2023-05-24 08:11:12
    随着科技的飞速发展,轨道交通已经成为许多城市交通系统的重要组成部分,因此,对于地铁驾驶员的需求也越来越大。然而,各职校传统的地铁驾驶专业教学方式存在着一定问题,如训练场地有限,需要花费大量时间和资金进行地铁驾驶实训基地建设等,且教学难以满足学员个性化
  • 火山引擎DataTester:小改动带来大收益,A/B实验助力幸福里APP精准优化
    火山引擎DataTester:小改动带来大收益,A/B实验助力幸福里APP精准优化
    2023-05-24 08:11:12
    幸福里APP是抖音集团旗下开发运营的集内容、社区、工具于一体的房产信息综合平台,基于个性化推荐引擎向用户推荐优质的房产内容房源信息。本文将介绍幸福里APP应用火山引擎A/B测试DataTester完成产品体验优化,并解决实验流量过度曝光的案例。幸福里APP在整理用户反馈时
  • ChatGPT国内中文版官网入口
    ChatGPT国内中文版官网入口
    2023-05-24 08:11:12
    ChatGPT国内中文版官网入口地址:ChatGPT网页版链接:https://ai.chatgpt963.com/h5/10001/APP下载链接:https://ai.chatgpt963.com/ChatGPT自问世以来,立刻就成为全球科技领域关注的热点,据新华社报道,ChatGPT推出约两个月后,活跃用户即已达到1亿,成为历史上增长最快的消
  • 字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果
    字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果
    2023-05-24 08:11:10
    近期,第39届IEEE数据工程国际会议(以下简称ICDE )在美国加利福尼亚召开,由字节跳动数据平台提交的论文聚焦数据库领域,提出 WaLSM架构设计、优化和性能提升的创新技术方案,成功被大会收录。ICDE是全球数据库领域的三大会议之一,重点面向数据工程和数据密集型系统研
  • 抖音电商木青:全域兴趣电商步入新阶段,“人人都能做全域”
    抖音电商木青:全域兴趣电商步入新阶段,“人人都能做全域”
    2023-05-24 08:11:06
    在刚刚过去的2023抖音电商生态大会上,“全域一体,飞轮增长”这一新经营导向引起了电商行业的好奇。与此同时,抖音电商木青提到“人人都能做全域”的方向,也增强了众多商家对投身全域兴趣电商的信心。在新的发展阶段,商家具体应如何经营?如何把握增长的浪潮?在本届抖
  • 抖音电商嵇鹏飞:以用户需求为原点,为好生意打造坚实的平台基础
    抖音电商嵇鹏飞:以用户需求为原点,为好生意打造坚实的平台基础
    2023-05-24 08:11:01
    5月16日,以“RIGHT HERE丨对 就在这”为主题的2023抖音电商生态大会在广州越秀会议中心举办。现场,抖音电商产品负责人嵇鹏飞以“场景连通 质效同驰”为主题进行了演讲,明确了全域兴趣电商的产品升级思路,并发布了抖音电商的最新流量策略。嵇鹏飞表示,在全域兴趣电
  • 开源新秀 MatrixOrigin,即将亮相 GOTC 2023
    开源新秀 MatrixOrigin,即将亮相 GOTC 2023
    2023-05-24 08:10:58
    全球开源技术峰会(Global Open-source Technology Conference)GOTC 2023 由开放原子开源基金会、 Linux 基金会亚太区、上海浦东软件园和开源中国联合发起, 将于 5 月 27 日至 28 日在上海张江科学会堂隆重举行。其中,矩阵起源 MatrixOrigin 成为了 GOTC 2023 的白银赞
  • 铭凡新品发布:UM790Pro/UM780Pro:突破极限、定义卓越
    铭凡新品发布:UM790Pro/UM780Pro:突破极限、定义卓越
    2023-05-23 08:10:28
    2023年5月16日,知名迷你电脑生产商铭凡(MINISFORUM)召开发布会,正式公布了其基于AMD锐龙7040HS系列的新品---UM790 Pro和UM780 Pro。铭凡致力于迷你电脑的研发、生产与销售,并拥有独立的研发中心和生产基地。此次基于AMD锐龙7040HS系列的新品,充分展示了铭凡在迷你电