大数据时代下的IPFS应用

伴随着智能硬件井喷式的出现，我们即将进入大数据时代。在这个大数据时代下，IPFS有什么新的机遇？

什么是IPFS？

IPFS是interplanetary file system的缩写，翻译成中文是:星际文件系统。

A peer-to-peer hypermedia protocol, to make the web faster, safer, and more open.这是IPFS官网上对它的一个描述，简单来讲是：一个p2p的超媒体协议，让互联网更加快速、更加安全和更加开放。

总结起来就是，这是一个协议，它更加快速、更加安全和更加开放。既然提到更加，那么它和谁相比才能成为更加快速、更加安全和更加开放呢？

IPFS与HTTP

IPFS被认为是HTTP的竞争型的技术，我们可以先看一下HTTP到底是干什么的?

HTTP被称为超文本传输协议，规定了客户端和服务器之间文件规范，也是我们很多网站的标准协议，本质上也是规定了文件存储的方式。因为互联网的各种网站都基本使用HTTP的协议技术，所以说HTTP是现代互联网的基础一点都不为过。

不过，随着互联网的不断发展，这种中心化的服务器的弊端也就是越来越显现出来，因为有一个中心化的服务器，那么这个中心化的服务器就成为了整个网络的最为要害的关键点和瓶颈点。当服务器出现问题，当服务器响应能力达不到的时候，当连接服务器的带宽出现问题，甚至只是给服务器提供服务的第三方出现问题都可能导致服务器无法访问。在这里我们举两个案例：一个是2015年5月27日下午，支付宝全国大规模断网事件。由于杭州市萧山区某地光纤被挖断导致。 第二个是2016年10月21日半个美国网络瘫痪事件，提供动态DNS服务的Dyn DNS遭到了大规模DDoS攻击，攻击主要影响其位于美国东区的服务。GitHub、Twitter、Airbnb、Reddit、Freshbooks、Heroku、SoundCloud,、Spotify 和 Shopify。

有一个叫做Juan Benet的墨西哥裔的美国人发起的一个协议，这个协议曾经在YCombinator孵化竞赛中拿到了巨额的投资，之后成立协议实验室，并在2017年的8月为IPFS上的激励层进行募资，有着全世界最知名的一些投资机构投资了这个项目，例如红杉资本、知名硅谷风投Union Square Ventures ，还有 Winklevoss Capital, Digital Currency Groupm。这个项目募资超过了2亿美元，

大数据时代下的特点

大数据不光是我们理解的数据量巨大，而且还有其它的一些含义。我们现在分别来论述大数据的特色：

数据量巨大

在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！我们可以想象一下，现在的任何一部手机的存储都会以前计算机的存储都要大得多。

不光如此，因为各种摄像头、传感器、智能硬件的爆发性应用，会导致海量数据存储的需求。例如，我们10年前有多少摄像头，我们现在可以想象，全国各地，只要是公共场合都会有摄像头的存在，摄像头的质量越来越高级越来越来高清，需要的存储空间也会越来越大。传感器已经应用的并不多，不过随着5G网络的推出，传输通道问题已经解决，边缘云的发展解决了数据处理的问题，各个行业深度的数据应用就越来越多，各种各样的传感器就会应用越来越广泛，它们是未来智能世界的数据基础，智能硬件也越来越流行，无论是家庭类的各种智能硬件，还是个人穿戴类的智能硬件都会有广泛使用，海量的数据都会产生。我们可以想象一下，当前我们自己拍摄的照片和视频占用多少空间，已经当我们的周边全是这些数据采集设备的时候，会是什么样子。

数据场景复杂

数据存储只是大数据的应用之一，根据不同的场景对数据的需求也不同。例如视频分发场景。绝大多数的内容需求场景都是非常分散的，例如一部热播的电视剧的用户是分散到全国的各个地方，也就说全国的客户端到到视频服务器上来取数据。这样的模式是比较低效的。比如：《吐槽大会》的视频播放量是10亿次，如果每个视频文件大小是1GB的话，整个视频就要消耗1000PB的带宽的量。对服务器的带宽压力就可想而知，当然带宽的成本也是非常高的。

在这种情况下，就需要有一种更加高效的数据存储和转发方式。或者换句话来讲，在视频分发的场景下，数据高效转发的需求要大于单纯的数据存储需求。

数据维度多样性

一提到“大数据”，很多人的第一反应都是数据量特别大，其实“大数据”的本质含义是数据维度多。

这是什么意思呢？

只有数据维度多才有数据分析的意义。

例如，如果我们只有一个产品的每天销售数据是没有办法来分析这个产品畅销或者滞销的原因。当我们了解购买这个产品的客户群标签、他们购买时候的场景、他们购买时考虑的因素等等，当我们拥有的维度越多，才越有可能毕竟事实的真相。

到了数据化社会，数据成为了最宝贵的财富。这也是为什么一些世界级的公司都愿意把人工智能的算法能力提供出来，因为算法已经不是竞争的关键点，真正竞争关键点已经转变成为了数据。例如谷歌公司，把自己的人工智能算法能力公开，所有使用其算法能力的公司都相当于源源不断为谷歌公司算法再喂养这数据，那么谷歌的人工智能就会成长速度变得最快。

大数据时代下IPFS的应用

我们谈到了大数据的时代的几个特色，传统的技术对新时代的需求越来越难以满足，而IPFS作为一代新的技术孕育而生，对解决这些需求提供了一套关键性的解决方案。

IPFS应用于数据存储

树哥之前提到了，未来时代是一个海量数据的时代，数据爆发的速度会巢湖我们想象。这些数据如果都采用原来的数据中心方式存储，会快速退稿整体的数据存储成本。并且由于传统的存储方式是采用目录存储，和文件的内容毫无关系，这样就导致极大浪费存储空间，提高存储压力。例如，一部热门的电影可以会存在于很多的视频网站之中，也会存储于很多的个人电脑之上，同样一份内容被存储了成千上万份，就更加让本来昂贵的存储更加捉襟见肘。

IPFS提供了一套分散化存储的方案，不用采用集中式存储的方式，而利用一些个人节点空闲存储空间，通过租用他们的空闲存储空间来实现数据存储的目的。由于个人的存储属于闲置空闲空间，所以对于出租空间的利益需求远不如中心化存储，也因为提供存储会比较多，所以整体会极大降低存储的成本。

另外，由于IPFS采用内容寻址的方式，意思是通过文件内容的哈希值来寻找文件。由于哈希值具备唯一性，这样全网的文件就会只有一个，不会再出现一个视频文件成千上万份这样的现象。IPFS下只需要按照策略，全网保存几个备份即可，所以存储的效率也会比原来高的多。

IPFS应用与不同的大数据场景

树哥上面提到的视频分发场景是其中的一个重要场景。当全网的视频数据越来越多，视频的分发就会成为一个大的问题。随着观看视频的用户越来越多，承载视频的服务器的压力就会越来越大，互联网的带宽也会越来越大。

举个简单的例子，如果我们利用一台无人机实时拍摄一场比赛的实况，这个时候想要同时看这个视频的人坑就会有成千上万，这个视频拍摄点可能根本没有那么多的带宽资源来接入这么的用户。在这种情况下，如果假设在IPFS网络上，已经观看视频的IPFS用户自动贡献出一点存储空间来存储视频内容，有一部分人可能就不用直接去最前端的来提取视频数据，而只需要在已经存储视频数据的其他用户那里提前就可以了。虽然他们观看的视频可能比真正的实况慢那么十几秒几十秒，不过，这也在一般人的接受范围之内。这样一来，最前端的数据的分类压力就会缓解了很多，

当然这仅仅是其中的一种应用。就拿我们最常说的网站来举例，有一些情况我们会发现有一个404错误，这个错误的原因在于因为某种原因无法访问到这个问题，可能是主干线路问题或者是服务器本身问题，有的时候仅仅是与域名问题。而通过IPFS假设的网站就永远不会再出现这样的问题，任何时候都可以访问，而不会因为一个点的服务器或者网络出现问题而不能访问。

IPFS成为多维度数据的底层基础

多维度数据分析是大数据应用的重要基础，各个维度的数据越全面才能越能支持数据的分析和挖掘。IPFS网络作为底层，再配合其他的应用就可以更好的实现数据的多维度分析。例如，个人健康的多维度分析，就需要以这个人的基本信息作为核心来不断收集各种各样的信息来进行统一分析，需要考虑到所有信息的分级管理，哪些信息是完全隐私任何人都不能查看，哪些数据是可以通过用户授权给相关的医疗机构来查看，哪些数据是可以公开查阅。这些都是可以通过IPFS在加上某些应用就可以实现。

总结：大数据是未来世界的基础，如何保障这个基础的安全、稳定、高效，这就需要IPFS贡献出自己的力量。而且大数据会有各种各样的应用，树哥暂时通过三个典型应用简单介绍了利用IPFS如何帮助实现这些大数据应用。