存储空间不够用?网络传输太慢?想必每个人在生活中都会遇到这些问题。看着爆满的硬盘、焦急的等待数据的接受,更新设备?不是每个人都能承担这个成本。那不如尝试一下无损压缩?为了减少存储空间的占用,提高传输效率,START团队提出了一个高效的流式浮点类型数据无损压缩算法——“小精灵ELF”。利用小精灵平均可以将原本100GB的数据可以压缩到33GB。小精灵ELF是一种无需复杂计算针对编码的流式无损压缩算法,这意味着ELF应用场景非常广泛。小精灵ELF的压缩率平均有33%,也就是100GB的数据可以被压缩成33GB。此外小精灵ELF压缩1000条数据平均仅需要0.048毫秒,这个压缩率和压缩速度是目前绝大多数压缩算法达不到的。在各个领域里,会不断地产生大量的浮点类型时序数据。使用小精灵ELF最明显的好处就是我们进行压缩处理后,数据所占空间变小,这样可以有效地节省存储成本。我们可以在电商平台上看到机械硬盘的价格大约是200-300元1TB,波音787飞机一次飞行大约产生0.5TB数据,使用小精灵ELF压缩后一次存储一次飞行产生的数据就可以节约大约50元的存储成本。更何况像发电厂这种每秒收集上万条数据的场景,ELF具有的33%的压缩率意味着在存储上可以节省2/3的成本,还不包括对存储器后续的维护费用。那这些数据的收集传输也是一个消耗大量时间成本的事情。小精灵ELF的压缩不需要依靠很大的算力,十分适合部署在每个传感器内,在数据被收集后可以直接进行快速地压缩,将压缩后的数据进行传输。这意味着在相同的网络带宽中,可以提高三倍的数据传输速度。压缩的过程可以由每个传感器同时进行,数据可以收集一个压缩一个,而不用收集大量数据后进行压缩,这是小精灵流式压缩的优势所在。欢迎大家尝试使用小精灵ELF,让你存储空间不发愁,网络传输不添堵。ELF是怎么对数据进行压缩的呢?小精灵ELF实际上是巧妙的采用擦除的方式对数据进行处理的方法。怎么擦除呢?我们举了一个例子如下图,ELF可以找到数据的一个合适的低位置为零,之后进行异或操作,可以产生更多尾随零。图中的尾随零就从2bits,提高到了44bits,这样压缩率较直接进行异或有着明显提升。由于低位对原数据大小影响较小,所以ELF也可以向上取整得到原数据。[1] Ruiyuan Li, Zheng Li, Yi Wu, Chao Chen, Yu Zheng. Elf: Erasing-based Lossless Floating-Point Compression[C]//in The 49th International Conference on Very Large Data Bases, PVLDB, 16(7): 1763 - 1776, 2023.
0 条评论