华为科大创新研讨会——新硬件驱动的存储创新
新硬件驱动的存储创新
主讲人：中科大 李诚
引言
System 的两大推动，其一便是新型硬件，有关计算、网络的革新。
从最开始的软盘->硬盘->闪盘->等等
存储技术日新月异
CPU 和网络的瓶颈体现在，新型硬件的出现，需要革新新的形式
- 本地 DMA 频繁终端
- 远程 RDMA 访问被阻碍，需要转换
异构计算
GPT3、Burt 等等深度网络的模型，参数都接近无限扩张，但是 GPU 的内存确是有限的，CPU 的？
CPU-GPU 异构
网络技术突飞猛进
带宽的增长，1GB 的市场占有率已经逐渐下降，上升的都是更高贷款的。
许多与网络相关的。
汇报提纲
- 基于混合存储介质的单机键值数据库
- on-GPU cache 与图神经网络训练优化
- 基于分离式内存的云原生关系型数据库
- 本地+远程组合内存，对用户“透明”
- 用有限的方式实现近似无限的内存量
Sec 1
新的硬件设备，从 HDD -> NVME (Intel Optane)
然而我们“用不满”新硬件的性能
原因分析
从 User Space 的操作陷入 Kernel Space，中间耗费了太多时间，使用 SPDK，直接操作裸盘，就可以越过中间过程，直接体会到硬件的“快”。
代价
失去了文件系统的抽象，基于文件系统许多的特征/方法都丢失了，比如基于文件抽象的操作。
Related Work and Goal
SpanDB Overview
Page cache 被保存下来，对写优化更加有用
Parallel logging vis SPDK
设计 pipe line，从而使得多个进程可以均摊。
拓展
本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议 ，转载请注明出处！