云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切,但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然,如果解释更形象一点的话,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化后在进行分配使用。
可以说,大数据相当于海量数据的“数据库”,通观大数据领域的发展我们也可以看出,当前的大数据发展一直在向着近似于传统数据库体验的方向发展,一句话就是,传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层:数据存储,数据处理和数据分析。数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合,这让大数据产生最终价值。
不看现在云计算发展情况,未来的趋势是:云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话:“动一下鼠标就可以在妙极操作PB级别的数据”,确实让人兴奋不能止。
大数据分析经常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十数百或甚至数千的服务器分配工作,大数据需要特殊的技术,以有效地处理大量数据。适用大数据的技术,包括大规模并行处理数据库、数据挖掘电网、分布文件系统、分布式数据库、计算平台、互联网和可扩展的存储系统,大数据指的海量的数据一般日处理PB级别以上,一般用于挖掘,分析,做一些智能性商业板块。
大数据必然与云计算有相关(大数据和云计算没有必然的联系,你要作大数据,可以用云计算,也可不用)数据中心是云计算基础,从技术上来看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,大数据必然无法用单台的计算机进行处理,必须采用分布式的架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算分布式处理、分布式数据库和云存储、虚拟化等技术,随着云时代的来临,大数据也吸引了越来越多的关注。
数据中心是云计算基础设施,我们通常讲到的服务器资源分配,带宽分配,业务支撑能力,流量防护,清洗能力,都是基于数据中心的大小和其带宽的容量,数据中心分布在不同的核心城市,辐射到周边的城市,提供基础支撑,其一般都符合国家机房一级标准,具备极强容灾能力,多数厂商会选择两地三中心等方式来架设机房,云计算是在数据中心基础上提供的从基础服务到增值服务的一种闲置资源利用。