北京时间6月9日,Filecoin官方发布了《大规模数据离线传输》一文,文章再次提到离线传输的重要性,官方表示选择相对于线上选择离线传输主要用于大规模的数据,因为从时间和费用两个维度来看,离线传输拥有巨大的优势。
01Filecoin为何诞生
Filecoin旨在存储世界上最有价值的信息,它基于区块链技术,创造了分布式存储交易市场。区块链技术提供了安全的存储保证,加密资产机制创造了动态的市场。
目前在全球范围内,我们每天都大约产生2.5亿字节的数据,其中一些数据涵盖了人类在科学、数学、艺术、历史和人文科学领域创造的最重要的信息。
然而当处理大量数据时,你就会发现我们很难通过Internet传输这些文件(昂贵且耗时)以进行保管。
对于PB级数据集和更大的数据集,最明智的解决方案通常涉及在硬盘上传输数据。因此,Filecoin想利用协议和项目制造的工具和结构来支持离线数据传输。
02为什么要离线数据传输
决定在线还是离线传输数据,我们需要考虑两个关键因素:费用&时间。
举个例子:一个博物馆或图书馆(信息量巨大),希望在分布式web (dweb)上上传、存储和保护它的收藏。
费用
线上传输:在当今的云服务中传输PB级数据需要通过多个区域发送数据,这会产生互连费和区域带宽费,如果你选择租用专用线路或考虑重试需求,还会产生额外费用。
粗略的成本来看,仅带宽传输2.5 PB的数据就需要花费约140,000美元;如果跨区域传输这些数据,则成本会更高。
线下传输:考虑硬盘驱动器本身的成本,服务器级8TB驱动器的价格约为200美元。
要传输2.5 PB的数据,你将需要大约315个硬盘驱动器,总计约为63,000美元。尽管你可能需要支付一些额外的运输,进口费用和货币兑换单位成本,但总体算下来成本远低于线上传输!
时间
线上传输:以100Mbps的速度传输500TB的数据需要一年多的时间。
线下传输:用硬盘驱动器传输相同的数据仅需花费下载和发送的时间,大概一周之内就可以完成!
归根结底,很明显,在某些情况下,物理传输数据的成本效益更高且速度更快。
03Filecoin如何支持离线传输
当存储较少的数据时,矿工和客户协商交易后,客户通常可以直接在线传输给矿工即可。
当存储大量的数据时,Filecoin的离线数据传输功能使客户可以离线完成数据传输步骤(例如,通过将硬盘从客户端运送到存储矿工),并按预期的顺序进行交易。
Filecoin会通过一个标志告诉客户端不要通过网络传输数据;而客户端会传递一个CID(描述数据的唯一标识符),矿工必须匹配该CID,才能通过交易。
这为客户端节点提供了如何设置交易的灵活性,例如,在硬盘传递特定位置给矿工,以供他们用来生成分段CID的数据。
04Filecoin项目如何支持离线传输
Filecoin Discover
该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘,并作为交换,获得额外Filecoin。
这是一种帮助Filecoin成为人类最重要的数据集之家的种子,并使其他人可以访问它的方法,也能扩大我们的知识库并形成新的想法。
存储设备提案
4月,Filecoin提出了一项有关存储设备(类似于AWS Snowball)的提案请求,以实现更快的离线数据传输。
该RFP的目标是构建冗余且安全的低成本硬盘解决方案。矿工可以在设定的期限内租用这些设备,以保持数据传输。客户端可以将数据加载到这些设备上,而矿工则在收到数据后将其卸载到自己的服务器上。
05离线传输的意义
设想下海上的一艘潜水艇,它收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时,邮寄这些硬盘驱动器可能更有意义,而不是依靠在线数据传输。
在我们致力于web去中心化的过程中,大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来,EB级的数据传输(例如AWS Snowmobile)是数据传输发展的下一步。
最终,离线数据传输之类的解决方案将使Filecoin成为传统云存储平台的更强大替代品——如果存储成本下降,小企业也将能够节省更多的资金用于雇用或研发。
从大规模数据处理方案,到收集数P的开源数据集,再去处理数据离线交付问题,Filecoin官方可以说为了降低存储成本操碎了心,上线前的准备工作诚意满满!
Filecoin未来抢占传统云存储市场还有很多路需要走,但我们相信分布式存储是未来的趋势,让我们一起为Filecoin加油!!!