什么是分布式存储
分布式存储也叫去中心化存储
Last updated
分布式存储也叫去中心化存储
Last updated
Web3.0 是当代互联网迈向下一世代的自然进化,下一代互联网必须满足机器智能,万物互联的链接需求。当人们开始展望这个全新的 Web3.0 时代,都会发现当代数据存储体系(中心化云存储辅以端测存储)都与 Web3.0 的需求相背离,而这恰恰是去中心化存储的巨大机遇,去中心化存储势必成为 Web3.0 时代必要的支撑。
根据 之前IDC 预测,到 2022 年,由数字拉动的经济产值将占全球 GDP 的 60%,⽽中国数字经济产值占⽐将超过全球平均⽔平,达到 65%。随着数字化进程的加速以及智能化⽬标的推进,企业产⽣的数据将持续增⻓,数据呈海量、多元发展趋势;多云和云-边-端等部署环境更加复杂,企业对数据的实时性和可靠性的要求也越来越⾼,当前的中心化数据存储的模式急需被改造,适应全新的互联网数据结构和日益膨胀的需求。
去中心化存储最大的意义在于能够让人与机器,机器与机器之间交互而产生的大量边缘化数据以分布式存储的协议来储存,再利用区块链技术添加信任写作层,让每个个体都可以参与网络的治理,每个个体可以在网络里参与按劳分配,能拿到激励,这将是区块链技术充分发挥效用的重要领域。
我们的社会正处于前所未有的信息大爆炸时代,未来将是数据成为主要生产要素的数字时代,而 Web3 也不外乎于此,作为数据解决方案——去中心化存储,不仅是区块链技术的三大支柱(计算、存储、网络)之一,也是 Web3 领域最早出现也最受关注的基础设施之一。
事实上,在中心化存储服务已经发展成熟,亚马逊 AWS 等互联网云服务市场已经巨头林立的的当下,我们不免提问,去中心化存储的意义何在呢?如今的去中心化存储赛道已经有哪些代表性项目?分别解决哪些问题?
首先我们需要明确,究竟什么是“去中心化存储”?
去中心化存储指的是在一个存储网络中,没有中心化机构作为存储系统的背书,而是相对独立的个体或部分群体贡献自己的存储空间作为该存储网络的组成单位,如此绕开了中心化机构存储带来的数据绝对控制权。
但去中心化存储与我们日常生活中经常看见的“分布式存储”,并非同义词,仍然存在区别。
按照更广义的说法,分布式存储系统是将数据分散存储在多台独立的设备上。分布式存储是指的架构上是分布式的,而去中心化存储则是指存储的内容是不受一个中心机构或个体所控制的。所以,去中心化存储一定是分布式存储,但是分布式存储不一定是去中心化存储。
我们常见的“云盘”就是分布式存储的一类,但其背后是有中心化机构所管控,它可以随时删减、修改我们存在其中的数据,这与去中心化存储大相径庭。
因此,去中心化存储被认为是未来存储领域更加广泛和落地一类存储方式,既可以增强存储数据的安全,甚至还能减少存储成本。
那么去中心化存储的意义何在?让我们来跟中心化存储服务做一个对比。
在当前的中心化存储模式下,用户将敏感数据全部上传,不但使用户失去了对自己数据的掌控权,还将数据泄漏的风险转移到云存储运营商一侧。这些隐私信息存在数据丢失、损坏、泄露、或被盗用的风险。
而在中心化存储网络,由于存储的文件会被拆分成很多份,再被加密的存放到不同的节点。因此,存储方并不能知道存储的内容是什么,可以有效地保护我们的隐私。
同时,中心化的云存储运营商可能因各种市场或自身经营的问题跑路或是停止服务,而用户却无法对服务商的行为有任何约束和索赔的行为。这就造成用户往往倾向于将数据存储在规模更大、更有信用的服务商处,使头部公司的数据集中化程度越来越高,当前,亚马逊网络服务 (AWS)、微软 Azure 和谷歌云平台占据了云计算市场 65% 的份额。这也造成了数据一旦丢失将存在大面积丢失的情况。
而在去中心化存储网络,则允许内容以去中心化分布式的存储在不同的存储空间中,没有任何一个主体能够修改、删除存储的内容。
传统的云存储虽然也能选择备份多次,但是备份再多依然是受控于该云存储的公司,其安全性并不能随着备份数量的增加而显著增加。
而在去中心化存储网络,其优势正在于数据可跨多位置复制并在多处被访问,减少了黑客通过单一节点攻击的安全性问题,可以有效地防止由于单点故障造成的数据丢失。
去中心化存储作为区块链应用的重要场景,当前已经出现了很多优质的项目。我们以当前比较老牌的 IPFS 项目和波卡生态中的 CESS 项目为例,从各存储方案的优势和独特之处出发,简明扼要的阐述当前去中心化存储项目的发展情况,同时也探析为何波卡是适合发展存储项目,是去中心化存储的温床。
IFPS(InterPlanetary File System)是 2015 年提出的另一去中心化存储方案,克服了 bittorrent 的不足——可存储内容的多个版本、可预下载内容,进而实现去中心化、快速、高效率、可靠性、安全的内容存储。值得注意的是,IPFS 又开创性地引入了激励层 Filecoin,通过通证激励机制以确保文件在约定期限内的可靠存储。
Filecoin 允许任何个体利用空闲的硬盘空间和带宽在公开市场上提供数据存储和检索服务,将未用硬盘容量货币化,并通过 PoRep(复制证明)和 Post(时空证明)来保证矿工真实存储文件的情况,防止女巫、生成、外包等虚假存储数据的攻击。简单来说 RoRep 是证明矿工真实存储了数据,而 Post 则是证明矿工一直将该数据存储在自己的硬盘中。
IPFS 挖矿需要专业设备—GPU 矿机而使挖矿成本较高,行业进入壁垒的提高导致普通个体可能无法直接参与存储挖矿,进而全网总存储将向少数存储供应商或大规模矿池集中。这从某种程度上来说,IPFS 所构想的完全去中心化在执行过程中又变成了少数供应商垄断的“中心化”存储。
与 Filecoin 不同的是,CESS 并不是一条单独的公链,而是 Polkadot 的平行链。基于 Substrate 框架开发,共识算法、链下工作机制、升级机制等都和波卡生态保持一致。
针对 IPFS 可能存在的“矿工困境”中大节点垄断,CESS 对分布式存储资源层做了改进。
CESS 存储网络通过虚拟化技术将存储资源「池化」,形成类似于“去中心化云存储池”,具体表现为将所有的存储资源作为一个整体的存储资源池而非个体矿工进行看待,用户上传的数据将会随机分配给满足存储条件的存储矿工。“池化” 技术有效利用了闲置资源,实现了利用效率的最大化。也让可以提供高质量长期存储能力的矿工获得更多的奖励,也同时避免了大矿工的资源垄断。在 CESS 的存储资源池中,较大数据量的存储内容也会被切分成同等大小的碎片随机选取合适的存储位置,使得大小矿工机会均等,屏蔽了底层硬件设施的差异性。
此外,针对中心化云存储的另一痛点——对于矿工尤其是国内的矿工而言,下载用户需要存储的数据不难,但当用户需要使用时上传所需要的网络成本却比较高。这就导致很多矿工在存储数据后虽然通过存储证明保证了数据的续存但不愿意将数据上传给用户,导致了网络实际上的不可用。而在 CESS 中,在内容分发网络中设计了缓存以及检索矿工来帮助网络实现更加高效的运转,其中缓存矿工将缓存热门数据来实现更快的调用速度,而检索矿工则将帮助应用快速定位所需数据的位置。
支持 CESS 在去中心化存储的方向向高精尖发展的背后,离不开波卡网络的支持。波卡中继链与平行链的设置,使得每条平行链可以通过中继链获得共享安全性,并通过异构分片获得可扩展性之际,能够专注于不同的业务,服务于不同的需求。
此外,CESS 的开发还采用了 Substrate 开源框架,该框架作为波卡的底层继承了其多链和跨链的特性,使得 CESS 在与 Web3 项目的交互和兼容上具有天然的优势。同时 CESS 未来不仅会支持 WASM,还将兼容 EVM。因此对新兴的波卡生态和 EVM 生态上的开发和应用都有着非常高的适配性和便利性,开发者以及开发团队能够以熟悉的语言和方法在 CESS 开发原生应用,大大降低了开发者的入门成本,帮助开发者在 CESS 生态扩展的早期实现快速的增长。从开发者工具来看,CESS 将为应用的开发者提供模块化的开发工具以及 API 等服务,方便开发者使用网络的数据存储、分发、智能合约、隐私保护和数据确权等功能开发应用。
随着数据安全和用户数据所有权意识的提高,去中心化存储对于 Web3 来说,重要性不言而喻。去中心化存储在存储、隐私性、安全性、实用性等多个方面与中心化存储形成了差异化优势。当前的去中心化存储项目如 IPFS 通过引入激励机制来扩展网络总计算能力,从而克服了中心化存储的不足,但同时也衍生出新的痛点。
去中心化存储生态尚处于早期阶段,在存储量方面相比中心化存储仍相去甚远,但我们也相信随着存储技术的改进和激励模型的优化,去中心化存储行业最终将取得重大而稳定的进展。