浪潮在线压缩，为数据存储降本增效
|
随着新技术、新应用不断出现，数字化转型也在不断加速，行业智慧应用爆发式增长，改变了人们的工作、生活、学习方式，使得社会进入了数字经济时代。据IDC预测，到2025 年，每天有超过 60 亿人与数据发生互动，相当于全球人口的 75%;每个联网的人每隔18 秒就会有至少 1 次数据交互，全球数据也将增至 175ZB。而这些数据被记录在不同存储系统与介质中，企业不断购置大量的存储设备来应对快速增长的数据存储需求，这也增加了系统支出和资源能耗。浪潮存储基于技术创新提出了智能在线压缩技术(InCompression)，通过结合硬件及算法进行数据量缩减，以提升存储空间利用率，达到降本增效的目的。 闪存化趋势背后，面临的数据新挑战 在数据管理的过程中，最终都需要将数据存放到某一类最底层物理存储介质中。目前，底层物理存储介质主要有光、磁、电三种，对应的存储产品类型可也被分为三大类：光学存储，如蓝光存储;磁存储，如HDD机械硬盘;半导体存储，采用电能存储，如SSD固态硬盘。除了目前主要使用光、磁、电三种介质之外，业界还在进行DNA存储等下一代介质研发。当前在企业级存储市场应用最广泛的是HDD机械盘跟SSD固态盘，其中SSD节能优势明显，相对于HDD，在相同容量下，SSD的电力能耗降低70%，可有效推进数据中心低碳运转，其性能在市场中也具有较强的竞争力。 另外，“硅进磁退”是存储介质发展的趋势，全闪存阵列的普及速度也在逐年提高。SSD固态硬盘的性能虽高，但是其中的flash颗粒存在成本和磨损寿命的限制。因此在全闪存系统进行设计时，需要充分考虑减少flash的磨损。业界中也通过压缩技术减少写入的数据量，进而有效减少对flash的磨损，提高系统的利用率，延长SSD的使用寿命，从而降低数据存储的成本。 存储系统中的在线压缩技术 存储系统中的无损数据压缩算法，正在由效率较低的定长(Fixed Bit Length Packing)压缩转变为不定长压缩。其中，由Abraham Lempel 和 Jacob Ziv独创性的使用字典的LZ77/78算法及其变种应用最为广泛。这类使用字典来压缩数据LZ算法使用一种基于滑动窗口缓存的技术，该缓存用于保存最近刚刚处理的文本;当出现一个重复时，重复的序列可以用一个短的编码来代替;压缩程序扫描这样的重复，同时生成编码来代替重复序列，随着时间的过去，编码可以重用来捕获新的序列。当然系统必须要设计成解压程序能够在编码和原始数据序列推导出当前的映射。 |
