能否利用Hadoop搭建完整的云计算平台?
Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。
- 作者:来源:TechTarget中国|2015-05-20 11:01
Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。
回头说Hadoop。在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。
云计算中有哪些构件?发展到目前的技术与规模,并没有一个确切的定论,今天的说的话明天可能就不一样了。但对Hadoop来说,实现了的部分,就是大部分企业在不断发展中所遇到的大部分问题。直接上图:
从整体生态系统的角度,从底层存储,到中间的计算模型和框架,再到上层的逻辑处理和流、显示,都有相应开源的实现。这就是你说的构件了。
包括我们看到的Hadoop2.0中,引入的新的处理框架,Spark,Storm,YARN(取代MR),都是Hadoop生态系统的完善与实现。
Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分),虚拟化是没有涉及的,而底层硬件Hadoop也是不涉及的,不管是Hadoop还是其他的项目,只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面,只是在实现中预留或者接入硬件特性,也就是在虚拟化这方面Hadoop只是个“APP”,不是“始作俑者”(用词不当了)。
那么,完整的云计算平台呢?
按照企业级来说,是要看具体的企业方向和企业类型的,包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群–>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术,直接去对应上图就好了。
从云计算这个概念出现到今天,资料可以说“浩如烟海”了,但很多资料只是互相复制黏贴,并没有说到云计算的核心。我想提出的一个观点是,完整的云计算平台,依赖的是业务,提供的是存储与支持。
没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术,都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算:
客户端缓存–>CDN缓存–>Apache&Nginx静态页面缓存–>PHP和Java动态内存–>Memcache&Other Nosql–>Mysql&Oracle–>HDFS&Other Big Table
从技术的角度看,所有问题解决起来都是层次化的(大家肯定都有写Demo吧),都是根据不同的需求引入不同的技术,在单层单点乃至集群都无法解决问题的时候,新的计算框架,云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之,完整的云计算平台,对于不同的公司业务都是不同的,拿腾讯来说,平台的组件多如牛毛,“平台”只是提供最基础的服务:存储与支持,其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的,这里我就不能再说了……),至于提高什么样级别的这种“服务”,就要看公司的业务规模,需要支撑的体系,乃至公司的决策战略了等等。
【编辑推荐】
点赞 0
- 大家都在看
- 猜你喜欢
编辑推荐
- 24H热文
- 一周话题
- 本月最赞
- Docker入门教程:15个Docker基本命令及用法云计算和边缘计算在未来将如何发展?消除4大云安全误解新浪技术分享:我们如何扛下32亿条实时日志的分析处理你在 Docker 中跑 MySQL?恭喜你,好下岗了!无忧熊漫谈人工智能云计算的法律法规也成为了建设云安全产业链的一个重要环节混合多云旅程中的业务永续
- Docker入门教程:15个Docker基本命令及用法新浪技术分享:我们如何扛下32亿条实时日志的分析处理网络安全迈入“云威胁”时代,云安全将成为企业刚需配置云计算、大数据与人工智能三者的关系云计算的下半场:云原生计算你在 Docker 中跑 MySQL?恭喜你,好下岗了!6 个必知必会的关于容器的概念专家对云计算架构和基础设施热门趋势的预测
- Docker入门教程:15个Docker基本命令及用法新浪技术分享:我们如何扛下32亿条实时日志的分析处理你在 Docker 中跑 MySQL?恭喜你,好下岗了!K8s宣布弃用Docker,千万别慌!网络安全迈入“云威胁”时代,云安全将成为企业刚需配置公共云与私有云的主要优势和区别2021年云计算面临的5大网络安全威胁云计算、大数据与人工智能三者的关系
订阅专栏+更多
-
活学活用 Ubuntu Server
实战直通车共35章 | UbuntuServer221人订阅学习
-
Java EE速成指南
掌握Java核心共30章 | 51CTO王波83人订阅学习
-
Mysql DBA修炼之路
MySQL入门到高阶共24章 | 51CTO叶老师475人订阅学习
视频课程+更多
-
OpenStack实战视频课程(进阶+高级)-老段
讲师:老段8900人学习过
-
OpenStack实战视频课程(基础篇)-老段
讲师:老段5864人学习过
-
OpenStack实战(安装+讲解)视频课程(Newton版)
讲师:罗晶6883人学习过
最新专题+更多
- 精选博文
- 论坛热帖
- 下载排行
读 书 +更多
Java程序设计专家门诊
精选目前国内外最流行的程序设计语言——Java作为本书的选题,并以丰富的内容来解决读者学习该语言时可能遇到的各种问题。以专业的论坛为基...
-
订阅51CTO邮刊
点击这里查看样刊

51CTO服务号

51CTO播客