Sort Benchmark是不是跑分测试?腾讯云夺冠的配置是否有实际应用?

原创
云计算
Sort Benchmark测试来自中国的阿里云和腾讯云分别获得多项奖项,本次测试引起了许多关注,与许多跑分测试不同,Sort Benchmark与实际应用结合的很好。

【51CTO.com原创稿件】最近,一个国际计算赛事Sort Benchmark引起了业界的极大关注。

[[176547]]

与SPEC有所不同,Sort Benchmark(http://sort benchmark.org/ )在国内并不为大多数人所熟知,Sort Benchmark不是有了云计算才有的赛事。该机构的赛事由1998年图灵奖的获得者Jim Gray主办,历届的夺冠企业荟萃了AWS以及大数据领域著名的Hadoop和Apache Spark等知名科技公司。可以说,Sort Benchmark就是今天计算赛事的***殿堂。
 
而这次能引起讨论和关注,是因为这次入榜登顶的身影中有两家中国的云计算服务商。

Sort Benchmark是什么?为什么最近引起关注?

Sort Benchmark发展经历了很长时间,随着摩尔定律的不断发展,集群计算调度算法的不断发展,Sort Benchmark的排序方法也不断发生变化,除了不断变化的评比方法外,Sort Benchmark新增了基本原则,在Sort Benchmark的官网上,我们看到,2014年开始出现了CloudSort测试。

腾讯云获Graysort和Minutesort冠军

(上图)腾讯云获Graysort和Minutesort冠军,南京大学、阿里云、Databricks组成的联合参赛团队获Cloudsort冠军

以上三种六项测试中,腾讯云的是Graysort和Minutesort,南京大学、阿里云、Databricks组成的参赛团队获得的是Cloudsort,因为腾讯云、阿里云的参与遂引发关注。

Graysort,Minutesort和Cloudsort分别指的是什么呢?

Graysort测的是排序大量数据(目前最小为100TB)时花费的时间,时间越短效率越高。

Cloudsort测的是排序一定数据量时花的成本最少,花的钱越少越好,其实就是性价比。

Minutesort测的是在60分钟之内排序的数据量,排的数据量越多越好。

各项测试分为两种:Daytona和Indy,两者的区别在于,前者是通用目的排序,后者要求是专用目的排序。这次榜单中恰巧两项都是相同的,这种情况在以往也经常能看见。

测试有个基本的原则是使用的都是商用化在市场上能买得到的东西,既有直接的硬件方案,也有基于租用的云主机做的方案,并且不能经过任何修改,测试需要排序的数据都是由gensort record generator生成。
 
2014年百度获得过冠军奖项,2015年阿里云获得Graysort和Minutesort两种四项冠军。2016年腾讯云将比赛记录总体提升了2.8倍到5倍,今年南京大学、阿里云、Databricks联合团队获得Cloudsort两个子项的冠军,拿到了AWS在2014年获得的冠军位置(AWS并没有直接参与到这次测试,加州大学独立参赛,使用AWS在售的虚拟机)。

Sort Benchmark比的是什么呢?

Sort Benchmark考量的是一家公司或机构大规模计算能力的综合实力,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。

从Sort Benchmark的官网可以看到,腾讯云采用IBM Power处理器,许多人印象中的IBM Power形象非常高大上,但从成本上来算,腾讯云方面表示由Power组成的整体配置的TCO成本,低于去年阿里云方案的成本

腾讯云的参赛配置

(上图)腾讯云的配置

阿里云去年的配置
(上图)阿里云去年的配置

去年阿里云的方案中采用3134+243一共3377多个节点,每个节点用两路六核的E5-2630或者两路八核的E5-2650 V2,单机性能与Power8系统相比有些差距,但与今年腾讯云使用的512节点10核POWER 8整体计算集群相比相差不是特别大。而且两者都不是近期才更新的产品,Power8是2013年8月发布的,E5 2600 V2系列也是2013年发布的。

内存总量方面阿里内存总量较高;存储IO方面,腾讯云用的是NVMe协议的SSD,阿里云用的是SATA磁盘,腾讯云有优势,但考虑到这里的计算本身可以由内存完成,随机读写的要求不高,优势也不是很明显;网络方面,腾讯云用的是Mellanox的100Gb高速互联技术,虽然集群机器数少了6倍,这倒是有明显优势。

整体看,512台机器整体TCO与阿里云去年3377台机器相比成本低,同时从内存、磁盘、网络等整体看与去年的差异不大。相比之下,腾讯云跑出的成绩则高出了许多,其中98.8秒排完100TB的Indy Graysort项更是赚足了眼球。

这说明,腾讯云这次靠的不是高成本堆硬件,考验的是在软硬件的综合实力,从架构到代码,到硬件底层驱动都需要做优化,强化调度能力,内存利用率等。

另外值得注意的是CloudSort这一项,2014年AWS创造的排100TB数据花费451美金,而今年阿里云仅用144美金,两年时间刷新了榜单记录。不过就目前来看,使用当前的硬件价格与2年前的价格进行比较,其可比意义有待商榷。

Sort Benchmark测试能与实际应用相结合

Sort Benchmark的比赛规则要求所有的硬件都必须是商用硬件配置,意在让测试与应用相结合,而不是简简单单的跑分测试。南京大学采用阿里云进行CloudSort测试用的都是公开售卖的云主机,可以被用户使用。而腾讯云基于Power的方案在哪儿使用呢?

据了解,腾讯云基于Power的方案在内部系统中也投入了实际使用。半年前OpenPower峰会上宣布要让Power帮腾讯跑大数据应用,这次比赛表明Power在腾讯已经落实。

腾讯云和阿里云在Sort Benchmark的参与,展示了国内云服务商的计算能力,拿到了四种测试中三种的冠军。未来还有一项测试等待挑战,那就是Sort Benchmark的Joule(焦耳),它测试的是排序一定量数据所消耗的功耗。目前该项测试冠军由微软把持,测试中使用的不是Linu而是Win8,毕竟有操作系统的厂商属于特例。

SortBenchmark的Joule项目

(上图)Sort Benchmark的Joule(焦耳)项目

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

责任编辑:知加 来源: 51CTO
相关推荐

2012-06-26 19:27:15

云计算企业级虚拟化

2015-05-27 11:19:02

云存储分布式

2010-06-16 22:01:51

私有云公共云混合云

2015-08-31 10:50:16

跑分手机

2016-11-10 16:00:39

腾讯云 ,大数据

2015-09-17 10:07:05

私有云ZStack伪需求

2010-05-06 15:44:08

Oracle Nvl函

2010-03-18 18:17:01

Python 配置文件

2016-10-17 16:13:32

云计算

2012-12-21 15:09:10

微 信 不是

2019-05-16 09:23:18

前端Title后端

2023-09-24 23:44:10

C++类型安全

2010-06-18 10:56:40

SQL server合

2023-07-31 09:13:13

ValidatorGolang

2015-05-06 15:27:11

腾讯云移动应用

2016-11-18 10:56:52

比格云测试云主机

2021-08-02 14:48:15

云电脑Windows 365华为

2016-11-11 21:09:17

云计算

2010-05-17 13:16:23

MySQL压力测试工具

2023-09-06 08:11:40

CPU跑分软件
点赞
收藏

51CTO技术栈公众号