測試:品質(zhì)、品牌與價(jià)值的綜合體現(xiàn) ——2019至頂網(wǎng)公有云云主機(jī)評測綜合分析報(bào)告(上)
前言:評測報(bào)告沒人看?。儗倮悟},可以跳過)
在剛開始進(jìn)行今年的公有云評測的時(shí)候,有人和我說,這種測試沒有必要,沒人會(huì)關(guān)注這個(gè)東西。果然是一句話點(diǎn)醒夢中人!忽然發(fā)現(xiàn),現(xiàn)在評測報(bào)告少了,預(yù)測分析的報(bào)告多了。對于那些PPT廠商來講,這樣做很好理解,他們追求的本來就不是產(chǎn)品的銷售利潤,忽悠出一個(gè)概念,獲取投資利潤,至于研發(fā)的費(fèi)用,自然是越少越好,像測試這種自揭其短的行為,自然是不存在的?墒沁有很多確實(shí)是以產(chǎn)品、以技術(shù)為核心的企業(yè)也不對產(chǎn)品進(jìn)行功能或性能的展示,這又是為什么呢?是作者太孤陋寡聞?作為一個(gè)專業(yè)媒體從業(yè)者,想必我的見識還不至于這么淺薄。
主觀臆測一下,可能有兩種原因:
一、多一事不如少一事。
作者曾經(jīng)深入過許多企業(yè)參觀或進(jìn)行產(chǎn)品測試,給我的感覺是,研發(fā)的兄弟太確實(shí)不容易了,為了產(chǎn)品可以按時(shí)上線,別說996了,724的通宵都有可能,再多一個(gè)來挑毛病的,確實(shí)不招人待見,自然多一事不如少一事。
二、缺少專業(yè)測試工具
云計(jì)算的開源生態(tài),可以說是一把雙刃劍,它既降低了用戶的使用門檻,又提升了參與者的進(jìn)入門檻。免費(fèi)固然可以得到使用者的青睞,但像測試軟件這種專業(yè)而且小眾的產(chǎn)品,免費(fèi)是養(yǎng)不起身后成百上千的開發(fā)與維護(hù)人員的,收費(fèi)的測試工具要想盈利,就只能走定制開發(fā)這種路,而缺乏了通用性,很難進(jìn)行普適性的測試。因此現(xiàn)在對公有云測試就只能依靠一些Linux上的小工具來實(shí)現(xiàn),但這樣做的話,就出現(xiàn)了很多測試精度方面的問題,在下面的測試報(bào)告中會(huì)具體進(jìn)行分析。
當(dāng)然,作為媒體測試機(jī)構(gòu),我們也在積極和測試以及APM的廠商進(jìn)行溝通與合作,相信隨著企業(yè)對云上應(yīng)用質(zhì)量的關(guān)注,這類問題會(huì)盡快得到解決。
總體上講,問題的根源還是在于廠商對測試的重視程度不夠。對于未來的預(yù)期,誰都可以說,張口就可以講。但測試是需要有實(shí)實(shí)在在的產(chǎn)品的。真心搞研發(fā)的廠商,也會(huì)有不自信的擔(dān)憂,吹出去的牛,并不是誰都可以實(shí)現(xiàn)的。不搞研發(fā)的,更是樂得忽悠,聲勢做大一點(diǎn),接盤俠總會(huì)有的,大不了上一下失信名單嘛。
但測試是一個(gè)對產(chǎn)品的品質(zhì)、品牌和價(jià)值的綜合性體現(xiàn)。在我以前寫的文章里也說到過,中國制造需要升級為中國質(zhì)造,才能樹立好自身的品牌。這就需要勇敢的把自身產(chǎn)品展示出來,有比較,知不足,才能促進(jìn)步,F(xiàn)如今,在制造方面,我們已經(jīng)不弱于任何競爭對手,在創(chuàng)造方面,也正在迎面向前。因此在這里也希望更多有產(chǎn)品,有技術(shù)的廠商可以把自身的產(chǎn)品拿出來,通過公開評測的方式更好的向用戶進(jìn)行展示。這也是我們至頂網(wǎng)持續(xù)進(jìn)行公有云主機(jī)產(chǎn)品測試的最主要目的。
最后還有一點(diǎn)需要提醒大家注意的是,對于測試結(jié)果,不能依靠簡單的“比數(shù)”來評定產(chǎn)品的好壞,要結(jié)合測試環(huán)境和測試用例綜合的進(jìn)行分析。下面就是2019至頂網(wǎng)公有云主機(jī)評測綜合分析報(bào)告正文。
網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)及云主機(jī)可擴(kuò)展能力的綜合分析
2018年至頂網(wǎng)通過對公有云的測試和用戶及專家調(diào)研后發(fā)現(xiàn),那時(shí)公有云主機(jī)存在CPU處理性能低、內(nèi)存占用高、云主機(jī)可擴(kuò)展性問題突出之類的問題,并且發(fā)現(xiàn)雖然所有公有云主機(jī)都可以承受長時(shí)間網(wǎng)絡(luò)業(yè)務(wù)訪問,但對于目前問題高發(fā)的短時(shí)間大流量業(yè)務(wù)訪問問題上未曾進(jìn)憲涉獵。(具體測試報(bào)告可參見以下鏈接:http://www.yqqjgz.cn/special/CloudTest2018)
因此在汲取去年測試經(jīng)驗(yàn)后,今年特意將測試項(xiàng)目調(diào)整為針對網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)及云主機(jī)可擴(kuò)展能力這四個(gè)項(xiàng)目的評測之上,被測試的還是去年測試過的AWS、Azure、UCloud、阿里云、百度云、華為云、金山云、京東云、青云、騰訊云這十個(gè)公有云廠商的云主機(jī),在本次測試中,依然選擇的是適用于Web應(yīng)用的2核4G公有云主機(jī)進(jìn)行測試,測試系統(tǒng)盤大小為公有云廠商默認(rèn),公網(wǎng)帶寬為5MB,操作系統(tǒng)為CentOS,Web服務(wù)為apache,為了更好模擬普通用戶應(yīng)用,在本次測試中,我們采用第三方開源建站工具WordPress完成測試網(wǎng)站搭建工作,并進(jìn)行測試。云主機(jī)配置可參見不同公有云主機(jī)的單項(xiàng)測試內(nèi)容。各項(xiàng)測試分析結(jié)果如下:
云主機(jī)Web應(yīng)用、CPU占用測試結(jié)果分析
由于缺乏可以通用的網(wǎng)絡(luò)應(yīng)用性能測試儀表,在本次測試中只能征集熱心用戶在統(tǒng)一時(shí)間段對指定測試云主機(jī)IP進(jìn)行Web應(yīng)用訪問的方式進(jìn)行測試,并通過博睿數(shù)據(jù)應(yīng)用性能監(jiān)測工具,對請求發(fā)生次數(shù)、CPU、內(nèi)存占用情況以及響應(yīng)時(shí)間進(jìn)行統(tǒng)計(jì)。由于用戶行為并不可控,導(dǎo)致測試應(yīng)用請求分配不平均現(xiàn)象出現(xiàn),但是從本次測試所收集上來的測試結(jié)果來看,還是可以看出被測的公有云主機(jī)中所出現(xiàn)的問題。
Web應(yīng)用請求次數(shù)與CPU占用統(tǒng)計(jì)圖表
在Web應(yīng)用請求次數(shù)與CPU占用統(tǒng)計(jì)圖表中,藍(lán)色柱狀顯示的是各個(gè)公有云主機(jī)最高每分鐘內(nèi)的應(yīng)用請求次數(shù),橘紅色柱狀顯示的是公有云主機(jī)在測試時(shí)候最大CPU占用率。從中我們可以看出金山云的公有云主機(jī)雖然具有最多的每分鐘Web應(yīng)用請求次數(shù),但是其CPU的占用也是最高,達(dá)到了99.02%,而每分鐘請求次數(shù)與之相近的百度云,它的CPU占用率僅為13.82%。在本項(xiàng)測試中,華為云的CPU占用率最低,僅為5.86%,阿里云其次為6.05%,青云第三成績?yōu)?.37%。國外的兩個(gè)公有云CPU占用率均在15%以上,AWS CPU占用率為16.05%,Azure CPU占用率為15.19%。雖然AWS與Azure的Web應(yīng)用請求次數(shù)分別達(dá)到了643次每分鐘與500次每分鐘,但明顯低于百度云的684次每分鐘,而百度云的CPU占用率雖然超過10%,但也未超出太高,只達(dá)到了13.82%
云主機(jī)平均響應(yīng)時(shí)間、業(yè)務(wù)狀態(tài)統(tǒng)計(jì)及廣域網(wǎng)流量分析
平均響應(yīng)時(shí)間CPU占用率過高會(huì)對業(yè)務(wù)應(yīng)用造成什么樣的影響?我們通過云主機(jī)平均響應(yīng)時(shí)間及業(yè)務(wù)狀態(tài)統(tǒng)計(jì)可以進(jìn)一步進(jìn)行了解。以下統(tǒng)計(jì)數(shù)據(jù)依然是由博睿數(shù)據(jù)應(yīng)用性能監(jiān)測工具統(tǒng)計(jì)并得出。
平均響應(yīng)時(shí)間對比圖表
由于本次測試網(wǎng)絡(luò)頁面是利用第三方建站工具調(diào)取MySol數(shù)據(jù)庫內(nèi)信息生成,目前懷疑第三方建站工具數(shù)據(jù)調(diào)用存在效率問題導(dǎo)致所有公有云主機(jī)普遍存在最大響應(yīng)時(shí)間過高現(xiàn)象(首次訪問數(shù)據(jù)由硬盤加載到內(nèi)存時(shí)的最大響應(yīng)時(shí)間過長),為排除此不確定性因素,在結(jié)果對比時(shí),取消了本次最大響應(yīng)時(shí)間對比,只采用平均響應(yīng)進(jìn)行比較,測試結(jié)果可參見平均響應(yīng)時(shí)間對比圖表。
通過測試結(jié)果圖表可以很明顯的看出,金山云的平均響應(yīng)時(shí)間呈現(xiàn)出的一軍突起之勢。平均響應(yīng)時(shí)間高達(dá)521毫秒,這意味著絕大部分用戶在點(diǎn)擊在這臺云服務(wù)器上的鏈接后,需要經(jīng)過半秒鐘的等待,才可以獲取到點(diǎn)擊的內(nèi)容。而為了節(jié)省有限的公網(wǎng)帶寬,我們本次測試設(shè)計(jì)的頁面內(nèi)只有一張低清晰度圖片和一段文字而已,如果頁面再相對復(fù)雜一些的話,用戶體驗(yàn)將著實(shí)令人堪憂。
其它公有云中,以百度云和華為云的平均響應(yīng)成績最為出色,平均響應(yīng)時(shí)間僅為19毫秒,阿里云僅以20毫秒的1毫秒之差位據(jù)其次。其它公有云的平均響應(yīng)時(shí)間表現(xiàn)也都不錯(cuò),除了UCloud、Azure與AWS之外,平均響應(yīng)時(shí)間均在25毫秒左右。
在這里需要補(bǔ)充說明一下的是,平均響應(yīng)時(shí)間不但與公有云主機(jī)的應(yīng)用處理能力有關(guān),還與公有云主機(jī)的廣域網(wǎng)鏈路狀態(tài)有很大關(guān)系,如果云主機(jī)廠商所能提供的廣域網(wǎng)資源有限的話,也可能會(huì)對平均響應(yīng)時(shí)間產(chǎn)生影響,換句話說,UCloud、Azure與AWS這三個(gè)公有云廠商在今后,可許更需要在廣域網(wǎng)建設(shè)上多增加一些投入了。
業(yè)務(wù)狀態(tài)統(tǒng)計(jì)在業(yè)務(wù)狀態(tài)統(tǒng)計(jì)對比中,首先要對博睿數(shù)據(jù)應(yīng)用性能監(jiān)測工具提出表揚(yáng),它可以根據(jù)每條訪問連接的響應(yīng)情況分為正常、較慢、很慢、停滯、錯(cuò)誤,五種分別給予統(tǒng)計(jì),可以讓我們清晰的對業(yè)務(wù)狀態(tài)進(jìn)行統(tǒng)計(jì),但要向博睿提出一個(gè)小小的建議,這么重要的功能最好可以做的更加醒目一些才好。
由于無法做到業(yè)務(wù)請求的平均分配,本次測試中至頂網(wǎng)云能力評估小組不在對正常業(yè)務(wù)請求進(jìn)行統(tǒng)計(jì),在業(yè)務(wù)狀態(tài)統(tǒng)計(jì)中,只統(tǒng)計(jì)了十個(gè)被測公有云主機(jī)業(yè)務(wù)較慢、很慢、停滯、錯(cuò)誤的情況,具體情況可參見業(yè)務(wù)狀態(tài)統(tǒng)計(jì)圖表。
業(yè)務(wù)狀態(tài)統(tǒng)計(jì)圖表
在業(yè)務(wù)狀態(tài)統(tǒng)計(jì)圖表中,我們可以清晰的了解到,由于受到CPU處理能力的拖累,金山云的公有云主機(jī)不但出現(xiàn)9次業(yè)務(wù)較慢、68次業(yè)務(wù)很慢的情況,還有178次業(yè)務(wù)停滯和4次錯(cuò)誤現(xiàn)象出現(xiàn)。
在這項(xiàng)統(tǒng)計(jì)中,表現(xiàn)最好的是百度云,只有1次業(yè)務(wù)較慢情況出現(xiàn),其次是阿里云和京東云,出現(xiàn)業(yè)務(wù)較慢和業(yè)務(wù)很慢情況各1次。其它公有云廠商除了Azure與UCloud之外,業(yè)務(wù)較慢與業(yè)務(wù)很慢情況各出現(xiàn)1到3次不等,具體情況可以參見每個(gè)公有云主機(jī)的獨(dú)立報(bào)告,這里就不一一贅述了。至于Azure和UCloud在本項(xiàng)統(tǒng)計(jì)中分別出現(xiàn)了52次和47次的業(yè)務(wù)較慢情況,數(shù)字比較令人揪心,看來日后確實(shí)有必要多增加一些廣域網(wǎng)帶寬的投入了。
廣域網(wǎng)流量上面提到了有些公有云廠商需要增加些廣域網(wǎng)帶寬,然而帶寬就是錢,現(xiàn)在有很多用戶為了節(jié)省帶寬費(fèi)用的投入,也在采用按流量計(jì)費(fèi)的方式對使用帶寬進(jìn)行付費(fèi)。那么公有云主機(jī)業(yè)務(wù)應(yīng)用時(shí)候的流量使用情況如何呢,至頂網(wǎng)云能力評估小組同樣也進(jìn)行了測試。
廣域網(wǎng)最大流量統(tǒng)計(jì)表
由于流量分配的不均衡,必然會(huì)造成廣域網(wǎng)流量的差異,因此我們將最大請求次數(shù)也同時(shí)列出來做一個(gè)參考?墒前l(fā)現(xiàn)在最大流量中還是出現(xiàn)了不小的差異。最大流量最高的分別是百度云的4.0MB/s(注:博睿統(tǒng)計(jì)結(jié)果中確實(shí)是大寫的B byte)、AWS的3.6MB/s與Azure的3.14MB/s,與其它公有云主機(jī)平均在1.X左右的最大流量存在著很大的差距。雖然他們?nèi)业淖罡哒埱蟠螖?shù)確實(shí)要多于其它公有云主機(jī)廠商,但是如果按比例進(jìn)行換算的話比例又不對等,還是會(huì)出現(xiàn)很大差距。不知這個(gè)問題是統(tǒng)計(jì)數(shù)據(jù)造成的,還是由公有云主機(jī)造成的,看來今后還有必要針對這個(gè)問題進(jìn)行更進(jìn)一步的測試,仔細(xì)看一下,流量到底都去哪兒了。
內(nèi)存占用在去年公有云主機(jī)測試時(shí),曾發(fā)現(xiàn)被測云主機(jī)普遍存在內(nèi)存占用過高情況,今年同樣對公有云主機(jī)系統(tǒng)內(nèi)存占用情況進(jìn)行了測試,下面內(nèi)存數(shù)據(jù)同樣是由博睿數(shù)據(jù)應(yīng)用性能監(jiān)測工具記錄,最高是記錄的在正常業(yè)務(wù)訪問中最高內(nèi)存占用結(jié)果,最低為訪問結(jié)束后最低內(nèi)存占用結(jié)果。具體數(shù)據(jù)參見內(nèi)存占用圖表。
內(nèi)存占用圖表
通過內(nèi)存占用圖表可以看出現(xiàn)階段各公有云廠商公有云主機(jī)的內(nèi)存占用情況均出現(xiàn)很大好轉(zhuǎn),除了金山云可能是因?yàn)樵谡I(yè)務(wù)訪問中出來過多等待和錯(cuò)誤連接占用了過高的內(nèi)存之外,其它公有云廠商的正常業(yè)務(wù)訪問最高內(nèi)存占用基本均在2.5G左右的水平線上下,而訪問結(jié)束后內(nèi)存恢復(fù)情況也都比較理想的保持在0.7G左右。由于結(jié)果相差不多,就不再逐一進(jìn)行分析了。
公有云主機(jī)異常流量沖擊下健康狀況測試
以上都是針對正常業(yè)務(wù)來進(jìn)行的測試,但是在業(yè)務(wù)應(yīng)用中,從來不是一帆風(fēng)順,會(huì)有很多異常情況出現(xiàn)。于是接下來至頂網(wǎng)云能力評估小組就會(huì)人為的制造一些異常,來看一下在異常狀態(tài)下這些公有云主機(jī)的健康狀況如何。
為此,至頂網(wǎng)云能力評估小組采用在服務(wù)器端上用ab同時(shí)保持50個(gè)用戶訪問(ab參數(shù)-c 50)并建立1萬連接和間隔數(shù)分鐘后再發(fā)起同時(shí)保持50個(gè)用戶訪問并建立10萬連接的方式,對公有云主機(jī)高并發(fā)應(yīng)用處理能力進(jìn)行測試。由于博睿數(shù)據(jù)的監(jiān)測工具在云主機(jī)CPU跑滿的情況下無法提供準(zhǔn)確監(jiān)控?cái)?shù)據(jù),因此選用Apache AB所提供的請求速率Requests/s結(jié)果進(jìn)行統(tǒng)計(jì)。
Apache AB應(yīng)用性能測試圖表
在這里需要事先強(qiáng)調(diào)一件事情,Apache AB應(yīng)用性能測試的數(shù)據(jù),本身沒有過多可以相互攀比的意義,此項(xiàng)測試是為了考驗(yàn)在CPU被業(yè)務(wù)處理打滿之后云主機(jī)是否還可以正常運(yùn)行。在上面測試中公有云主機(jī)正常業(yè)務(wù)應(yīng)用中,每分鐘處理300-500左右也就是每秒種處理5到10個(gè)業(yè)務(wù)應(yīng)用,已經(jīng)是單臺云主機(jī)可以正常處理的極限了,當(dāng)正常應(yīng)用接近這個(gè)極限之前就需要考慮如何對云主機(jī)進(jìn)行擴(kuò)展,以保障業(yè)務(wù)的正?沙掷m(xù)運(yùn)營。
上面的測試也可以充分說明這個(gè)問題,金山云的Apache AB 在1萬次訪問請求時(shí),排名第二,在10萬次訪問請求時(shí)排名第一,但是在測試完成后,無論是遠(yuǎn)程管理的客戶端還是公有云的控制臺對其進(jìn)行操作均無法進(jìn)行響應(yīng),只有再通過控制臺進(jìn)行重啟后,才能繼續(xù)進(jìn)行操作。也是本項(xiàng)測試中唯一一個(gè)沒有經(jīng)受住異常流量考驗(yàn)的公有云主機(jī),其它公有云主機(jī)均成功的經(jīng)受住了考驗(yàn),可以在突發(fā)異常時(shí)穩(wěn)定運(yùn)行。
從上面的測試中我們可以了解,CPU的處理能力,與網(wǎng)絡(luò)應(yīng)用息息相關(guān),雖然在正常應(yīng)用流量測試中,絕大部分的公有云主機(jī)CPU使用并沒有達(dá)到一個(gè)很高的數(shù)值,但這是因?yàn)闉榱藴y試所搭建的網(wǎng)頁簡單,沒有過多互動(dòng)性內(nèi)容而導(dǎo)致的。公有云主機(jī)的CPU處理能力到底如何?為什么至頂網(wǎng)云能力評估小組一直提倡采用雙核云主機(jī)?網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)中云主機(jī)的系統(tǒng)盤存儲(chǔ)能力又是如何?這些問題我們會(huì)在下半部分文章中再繼續(xù)為大家進(jìn)行解讀。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼
