感谢您的内存:便宜的内存如何改变计算




从小型集成控制器到工业服务器,任何计算机系统中都存在容量为1 Mbit RAM(随机存取存储器,随机存取存储器)的早期Micron DRAM。处理器使用数据时,数据存储在SRAM(静态RAM)或DRAM(动态RAM)中。随着RAM价格的下降,在RAM和永久存储位置之间移动数据的模型可能会消失。

RAM受市场波动的影响很大,但从长远来看,其价值会下降。在2000年,1 GB的内存价格超过1000美元,而现在只需5美元。这使我们可以想象一个完全不同的系统架构。

数据库通常存储在磁盘上,必要时从那里将必要的信息读取到内存中,然后进行处理。通常认为,系统中的内存量比磁盘的容量小几个数量级-例如,千兆字节对TB级。但是随着内存的增加,将更多的数据加载到内存中变得更加有效,从而减少了读写次数。随着RAM成本的降低,可以将整个数据库加载到内存中,对其进行操作并写回。现在我们到了不将某些数据库写回到磁盘并不断挂在内存中的地步。


卡尔·蔡司(Carl Zeiss)的兆位芯片


直到1975年,RAM都是一个


4 MB的磁芯存储器EPROM芯片,使用通过窗口发送的紫外线辐射擦除了


。现代DRAM存储器的

访问速度以纳秒为单位进行测量,磁盘访问时间以毫秒为单位进行测量-即,内存快一百万倍。内存中的数据传输速度当然不会快一百万倍-每秒千兆字节,而对于快速硬盘来说则是每秒几百兆字节-但至少RAM的速度超过驱动器的速度一个数量级。

在现实世界中,差异并不那么严重,但是将数据从磁盘读取到RAM并将其写回是一个严重的瓶颈,同时也是出现错误的领域。该步骤的消失导致指令的简化,简单性和效率的提高。

随着大型公司和数据中心的RAM价格下降,为服务器提供TB级的内存已变得很流行。但是除了大小,出于可靠性的考虑,通常不希望保留内存中的数据库。当电源中断或系统受损时,RAM会丢失内容。尝试遵守ACID数据库可靠性标准(原子性,一致性,隔离性,耐久性-原子性,一致性,隔离性,耐久性)时会遇到这些问题。

使用强制转换和日志可以避免问题。正如您可以从磁盘进行数据库备份一样,可以将内存中的数据库复制到存储中。创建强制转换会阻止其他进程读取数据,因此断点的频率是速度和可靠性之间的折衷。而这又可以通过记录事务或记录数据更改记录来消除,以便可以从较早的副本重新创建较晚的状态。但是,即使数据库完全位于内存中,也会丢失一定百分比的冗余。



用于管理内存中数据库的程序(IMDBS)允许您创建混合系统,其中一些数据库表位于内存中,而其他数据库表位于磁盘上。这比缓存更好,并且在将整个数据库保留在内存中毫无意义的情况下非常方便。

可以压缩数据库,特别是在具有将表存储为列而不是行的列的系统上。大多数压缩技术都希望相邻数据具有相同类型,并且表中的列几乎总是包含相同类型的数据。尽管压缩会增加计算的负担,但存储列非常适合于非常大的数据集中的复杂查询,这就是大数据用户和科学家它们感兴趣的原因

大规模地,像Google这样的公司已经转向RAM,以便以可接受的速度处理大量搜索查询。由于连接到一个母板的RAM数量有限,并且共享访问的组织会导致额外的延迟,因此在访问大量内存时也会遇到问题。

RAM后的生活


但是您不能保证使用内存中的数据是数据处理的未来。一种替代方法是使用非易失性RAM(非易失性RAM,NVRAM),用户以SSD的形式熟悉它们,并提供与磁盘系统兼容的体系结构。它们现在在NAND闪存上运行,与机械硬盘驱动器相比,该闪存提供较高的读写速度。但是她有自己的问题。闪存需要相对较高的电压来记录数据,并且闪存会逐渐退化,因此需要使用特殊算法来对其进行抵抗,从而导致运行速度逐渐降低。


随时间推移的内存和存储成本(每兆字节美元)

从图中可以看出,随着时间的推移,驱动器的成本下降的幅度与RAM的下降幅度大致相同。 SSD成本的下降已导致其在数据中心和工作场所中的分布,但到目前为止,尚不清楚该技术的未来。 Google于2016年2月发表的一项研究基于六年的使用得出的结论是,闪存的可靠性要比硬盘驱动器低得多-例如,它会产生致命错误-尽管需要更换的闪存数量很少。企业使用的SSD与消费者选择的质量没有区别。

但是新型NVRAM已经出现。铁电RAM(FRAM)曾经被认为是移动设备中RAM和闪存驱动器的替代品,但是现在人们的注意力已转移到磁阻RAM(MRAM)上。在速度方面,它接近RAM,访问延迟为50纳秒-比DRAM中的10 ns慢,但比NAND中的微秒快1000倍。


MRAM方案MRAM

使用薄膜结构和磁性隧道结,使用磁取向而不是电荷存储信息。交换MRAM已经在诸如Dell的EqualLogic存储阵列之类的产品中使用,但到目前为止仅用于日志记录。

自旋转移MRAM(ST-MRAM)使用更复杂的结构,有可能允许增加密度。现在,Everspin将其投放市场,最近在纳斯达克上市,代码为MRAM。其他利用此机会的公司还有Crocus,Micron,Qualcomm,三星,Spin Transfer Technologies(STT)和东芝。


3D XPoint内存


两个128GB 3D XPoint 芯片,


用于Intel / Micron 3D XPoint


速度比较

同时,英特尔正在与Micron合作开发一种称为3D XPoint(发音为“交叉点”)的NVRAM。这种形式的相变存储器(PCM)被称为电阻RAM(ReRAM),于2015年首次公开。 “ 3D”意味着可以多层构造存储器。英特尔认为XPoint的运行速度比NAND快1000倍,而容量则比NAND高10倍,尽管最近这些说法有所减少。价格预计在闪存和DRAM之间。因此,它不太可能在家庭中扎根,但可以大规模替代RAM和SSD。

IBM还致力于相变存储器。像英特尔一样,他们的技术也基于可重写光学介质中使用的硫属化物玻璃。该公司利用电力将材料从非晶态转变为三种晶态之一,在容量方面取得了突破,这将使内存成本低于DRAM。

RAM竞赛将影响计算机开发的各个级别。最终用户桌面上的内存从8 GB增加到16 GB将加速多任务处理并提高内存需求程序的效率。

在超极本中,SSD已经成为常态,而容量的增长已经使其成为替换硬盘的候选者。下一代三维NAND(V-NAND,垂直)承诺更高的效率和更高的记录密度。三星公司预测,到2020年,将以今天的TB级螺钉的价格为最终用户提供512 GB SSD。

对于中型企业和学术机构,便宜的RAM意味着可以更好地利用内存中的数据进行分析-如果该软件能够满足要求的话。 SAP HANA是一个内存数据库,是广泛使用云和本地解决方案的平台,它允许较小的公司处理大数据。 IBM和Oracle具有类似的数据库。

RAM使技术民主化-技术变得更便宜,大小型组织之间的差异也被消除。


带有自定义服务器的Google数据中心


红杉超级计算机



超级计算机Sunway TaihuLight,世界上最快的计算机,93


Titan petaflops ,美国最快的超级计算机


EcoPod HP数据中心

最后但并非最不重要的一点是,这需要超级计算机内存。当今最快的中国双威TaihuLight SC 包含1300 TB DDR3 DRAM,相对于其93 petaflops(每秒四亿浮点运算)的速度而言,它相对较小。特别是由于这个原因,其能耗仅为15.3 MW,但这可能成为限制因素。

现在每个人都在努力寻找前缀exaflops或1000 petaflops。由Riken和Fujitsu开发的日本post-K计算机将在2020年投入使用,其中包括Micron的Hybrid Memory Cube,这是DRAM的多层实现,并且还可能使用3D XPoint NVRAM。爱丁堡超级计算机中心的欧洲项目NEXTGenIO计划到2022年也使用3D XPoint实现exaflops。

在美国,作为NSCI计划的一部分而开发的百亿亿次计算项目将在2023年前推出两台速度相似的超级计算机。它们的体系结构仍在开发中,但是由于速度和能源效率是重中之重,因此RAM将在其中发挥核心作用。

Source: https://habr.com/ru/post/zh-CN398373/


All Articles