但数据与存储之间的关系,随着数字化趋势的推进,看似稳定的供给关系已经出现了裂痕——每年存储的数据正在以30%-40%的速度在增长,但存储硬件容量增长的速度却不到数据的一半。这意味着,存储的变革势在必行。
数智化时代存储的难题
面对当前数智化趋势,千行百业到了转型的分岔口,不仅面临着智能技术升级的压力,而且还面临着数据存储方案选择的难题——到2025年,新生产的设备存储容量远远跟不上数据增长的速度,只有极少的数据可以借助存储设备保存下来。同时数据量的激增也将大幅推动存储技术的发展和新设备的巨大需求。
安防产业正积极推进智能化的转型,如果仅仅延续传统的存储方式,便无法突破传统的桎梏,面临海量及多样的数据,追求更加稳定及性价比更高的存储方案,已经成为安防行业用户最迫切的需求。
富士胶片(中国)记录媒体事业部总经理骆琤表示,在视频安防领域,相较于往年,磁带存储的接受度正在逐步提升。“国家对数据安全和个人信息安全的立法,使得越来越多的企业会关注到数据存储所要担负的责任,不仅仅是应用的扩展,更是上升到了国家安全的层面。另一方面,视频安防解决方案也正朝着云的形态演化,安防云是大势所趋。在云端,用户所需要的不仅是数据获取的便捷性,也必须要确保数据的安全性。磁带存储正积极投身于视频安防产业的智能化和云端化的变革之中,在智能化方面,积累海量数据来推进机器学习是刚需。在云端化方面,一方面,要确保数据的绝对安全可控,另一方面,要能够以合理的价格向用户提供云服务,以适应日益激烈的市场竞争。以目前的应用效果看,磁带存储能够满足安防用户存储的需求。”
换个角度讲,同质化已经成为安防行业非常严重的现象,“HDD+SSD”的存储模式如果固化,无疑会减少方案的竞争性与成本弹性空间,对于用户而言,如果能降低数据存储的成本,强化其他智能应用的,方案也会是更优的选择。在这种情况下,对于方案供应商和用户而言,磁带将是最优的选择。
磁带存储的“空间魔法”
(1)为什么是磁带存储
要回答这个问题,笔者认为可以从以下三个方面进行回答:
一是磁带存储的优势,首先是存储密度高,现在最新的数据流磁带产品上涂布的是纳米级磁性颗粒,不仅是磁颗粒变小,而且物理性能更加的稳定。简单地说,正是因为单位面积的颗粒变多,使得存储数据的容量变大。从理论上而言,目前单盘容量可达580TB,与硬盘相比,容量的瓶颈几乎为零。其次是成本优势,磁带与硬盘相比,其扩容成本更低。一个磁带驱动器可以对应大量的磁带产品,当用户需要扩展容量时,磁带方案只需考虑存储介质的成本,但硬盘无法做到这点。同时不少数据显示,在日常使用的功耗上,硬盘存储的成本远远超过磁带。最后是长久保存的稳定性,磁带记录的稳定性已经多次在极端的环境下得到验证,并且磁带存储已经被证明每读写1万PB数据量后才有可能出现一次故障,同时也提供WORM磁带(一次写入,多次读取)使数据无法被覆写也无法被修改,这样的特性让其在重要的数据保存场景中得到用户的青睐;
二是在存储技术发展的长河中,磁带存储从未被淘汰。无论是在单盘容量与读写速度,还是在成本与安全性上,磁带存储从未停止过对创新的追逐。在智能时代,人们更关心算法与算力,但离开存储,算法与算力也将成为无源之水。存储的技术持续发展,存得安全、存得快速、存得长久是其必要的能力。存储的意义是保证以后能被读取,没有人能保证一百年后仍然有设备对光盘存储的数据进行读取,类似的事情在录音带、录像带和摄像带上都经历过,目前磁带机与磁带库产品基本都是资深IT生产商在生产,如IBM等,因此在无论是生态建设,还是解决方案技术发展的推动上,磁带技术仍然充满着不断向上的生长力;
三是在磁带存储满足当下智能应用的需求,且实战效果出色。除了持续在视频安防和传统数据中心发力之外,目前磁带存储正被越来越多的互联网大厂所接受和应用——百度智能驾驶已全面开始使用磁带存储,对比之前的存储系统,整体TCO(总拥有成本)下降了85%;度小满金融平台公开信息称,使用磁带存储后,TCO下降了90%。同样的,在互联网短视频和长视频行业中,越来越多的知名平台(如爱奇艺等)开始使用磁带存储。除此之外,在4K/8K高清视频领域,磁带存储的应用也在在广播电视台、电影制作、互联网视频等行业的系统验证和方案落地。
骆琤表示:“与海外市场规模相比,国内磁带存储的应用还远远不够大、不够广。但我们迈出的每一步都很扎实,每一次创新都落到了实处。”
在富士胶片推出新一代LTO9数据流磁带上也完美地体现着这点,由于采用了富士胶片独有的“NANOCUBIC纳米立方技术”,将仅20纳米大小的“BaFe钡铁氧磁性体”均匀分散,并涂布到磁带表面波纹度和厚度均匀的平滑薄层磁性层,保持了优异的信噪比的同时,通过提高记录密度,以12.65mm的磁带宽度记录在8960条数据轨道上,实现了最大记录容量45TB(未压缩时18TB),这是LTO8的1.5倍。随着单盘容量的增加,读写速度也随之提升,LTO8的原始传输速率为360MB/秒,压缩后达到750MB/秒,而LTO9则实现了压缩前400MB/秒,压缩后1000MB/秒。并且保持了极低的错误率,结合磁头高精度跟踪和卓越的运行耐久性,确保了稳定的读写性能。LTO9也秉持了磁带存储一贯的低成本和离线存储的特性,既能帮助企业大幅度降低TCO(总拥有成本)和能源消耗,也由于能够在于网络隔离的状态下保管数据,确保了在面临系统故障、病毒侵害和网络攻击时,数据损坏和灭失的风险极低,从而保障海量数据被安全且低成本保存长达50年。
(2)存储为应用而生
没有哪种技术可以脱离应用而生存。存储技术也是如此。无论是软件定义存储,还是硬件驱动存储,都是要适配后集成在一起才能发挥出最优性能的。单一的技术再好,如果无法匹配现有的技术,或者必须要从根本上颠覆现有的技术才能发挥作用,那就称不上是一项有意义的新技术。骆琤认为,任何一种存储介质都有存在的合理性和互补性。
目前硬盘主要用于在线存储,磁带更多聚焦离线存储,两者各有聚焦。“也许在某些应用中两者依然是竞争的关系,但是更多的情况两者是共生的。磁带作为重要的存储补充方案,最终的选择权都归属于用户,任何的技术都在不断的优化,很大程度上用户的推动力是最大的,多样化的解决方案能让用户在存储方案的选择上更加灵活。”骆琤分析道。
目前,硬盘虽然是主流存储介质,但面临着单盘容量增长的技术瓶颈以及SSD持续下降的价格压力,任何技术都需要有持续的研发和商品化的规划,也有适合与不适合的应用场景,正如磁带无法应用于热数据那样,硬盘在冷数据和冰数据方面的适用性也受到其本身物理特性的限制。
百舸争流,奋楫者先。技术永远是驱动力,离开技术的储备和突破,即使目前的产品销量很大,接受度很高,也会在应用层面逐步被其他更具创新力的产品所取代。
(3)存储的“软”实力
数智化时代,软件已经成为推动千行百业进步的关键。从云计算到传统行业,从边缘到核心,SDS“软件定义存储”早已成为共识。
IDC指出,2020年全球有将近80%的数据属于非结构化数据。因DAS、SAN和NAS本身技术和架构的限制,无法有效应对非结构化数据的需求,对数据归档更加便利及成本更低的对象存储得到了用户的青睐。
2020年,SDS相较去年同期增长了51.7%,IDC预测,未来五年,中国的SDS市场将以16.1%的年复合增长率持续发展,2025年,市场容量将接近34.2亿美元,其中面对海量非结构化数据处理的对象存储细分市场,其年复合增长率维持18.9%。
骆琤指出:“不仅仅是对象存储,文件存储和块存储同样也在不同的垂直市场中持续增长。我们既关注独立存储,也关注HCI超融合的趋势。磁带存储从来没有脱离过软件产业的协作,IBM、昆腾等磁带库厂商始终致力于软件的创新和升级。富士胶片所推出的‘对象归档软件’,是希望利用我们对用户需求的深切理解来共同推进SDS市场的持续优化和进步。”
富士胶片发布的对象归档软件Fujifilm Object Archive能够将对象数据直接存储于磁带上,同时满足自定义需求,并通过打包对象的方式来优化性能,真正融入对象存储解决方案之中,同时,它还具有恢复数据和归还数据的功能。
骆琤表示,就目前而言,相较于块存储和文件存储,对象存储以方便扩容的优势成为一种合适的解决方案。面对目前蓬勃发展的对象存储方式,这一新发布的软件产品能够实现将对象数据直接存储于磁带上,同时满足自定义需求,并通过打包对象的方式来优化性能,真正融入对象存储解决方案之中。
存储也能助力“碳中和”
在国家双碳战略的背景下,各行各业降碳是常态之路。
对于数据中心而言,降碳不仅仅是聚焦选址靠近可再生能源,在日常工作中减少对传统电力的消耗,推进能耗节约,同样对降碳的意义重大。
无疑降碳必须聚焦新能源和节约能源应该双管齐下,但进一步讲,数据中心选址虽然有效,但绝非易事,苹果也需要用5年时间才实现100%可再生能源利用。而后者则是一种便宜且快速减少二氧化碳排放的方式。
据IDC数据显示,在全世界数据量逐年增加的情况下,很多大企业每2年处理的数据量会倍增。数据中心存储的数据量预计将以年均27%的速度增加。另外,随着数据存储量的增加,能源消耗量也在增加。根据调查,主要数据中心的能源消耗量从2017年到2020年增加了31%,同时也伴随着CO2排放量的增加。
骆琤表示,富士胶片早已开始履行针对气候变化的承诺,完善IT可持续发展也囊括其中。富士胶片为助力脱碳社会的早日实现,制订了新的二氧化碳减排目标,即到2040财年,富士胶片计划将公司内使用能源产生的二氧化碳排放量削减到净零,实现碳中和,同时到2030财年,将公司产品在从原材料采购到制造、运输、使用和报废的整个生命周期中的二氧化碳排放量,较2019财年削减50%。
富士胶片对可持续发展的贡献,同样体现为生产既能保存数据又能降低碳排放的环保型数据存储产品 -- 磁带。相比于数据中心应用的其他传统技术(如硬盘),磁带能减少95%的碳排放。抵消碳足迹的方式多种多样,众多企业已聚焦再生能源。而节约能耗则是一种便宜且快速减少二氧化碳排放的方式。当磁带存储在磁带库中或储存柜内未处于工作状态时,完全不消耗电力,其排入大气层的二氧化碳远远低于其他的数据存储系统。60%-80%的已存储数据属于“冷数据”,尽管访问频率低,但价值巨大。
“根据Brad Johns咨询公司的报告,以100PB数据保存10年为例。对比全部存放在硬盘上,如果将硬盘上60%的数据主动归档到磁带上,那么碳排放将降低57%、电力消耗降低48%、而总拥有成本(TCO)则下降44%。此外,如果所有的冷数据均转存到磁带上,碳排放则降低95%,电力消耗减少80%,TCO下降73%。放眼全球,将60%的硬盘数据转存到磁带上,那么全球碳排放将减少7200万吨,这对全球碳排放的降低有着极大的贡献。对于企业来说,在帮助全球降低碳排放和电力消耗的同时,通过实施这一迁移所节省的TCO对于财务收益也十分可观。”骆琤补充道。
磁带的创新让人看到,旧技术不一定是过时的,同样蕴含着无限创新的潜能,而新的不一定是更好的,甚至新的不一定能在历史长河中沉淀下来。数智化时代,新和旧的之间的界限已经很难区分,而用户认可是判断技术是否适用最直接的方式。只有不断磨练自身新的技术,保持对社会需求的敏捷性,才可实现赋能产业创新最佳实践。
往期回顾