當(dāng)數(shù)據(jù)成為第一生產(chǎn)要素,端到端的數(shù)據(jù)戰(zhàn)略將成為現(xiàn)代化的企業(yè)騰飛利器!
納斯達克,不僅是金融市場的代名詞。更是數(shù)據(jù)作為第一生產(chǎn)要素的代表!
納斯達克海量的數(shù)據(jù)處理,直面三大挑戰(zhàn):首先是規(guī)模,系統(tǒng)一天就要無縫處理上千億美元的交易;其次是彈性,平時系統(tǒng)每秒處理300萬條信息;但高峰期,12小時內(nèi)有600億條信息進入交易系統(tǒng),以及超過1200億條信息導(dǎo)出系統(tǒng);第三是速度,每20微秒就需要進行一次訂單交易處理,比人類眨眼速度還要快1萬倍。
面對海量數(shù)據(jù)、海量交易,面對實時性要求極高的數(shù)據(jù)處理需求,納斯達克選擇了亞馬遜云科技作為云基礎(chǔ)設(shè)施,積極打造為資本市場提供技術(shù)和SaaS服務(wù)的供應(yīng)商角色。在體會到了云技術(shù)以及降低成本等方面的優(yōu)勢之后,納斯達克開始把包括數(shù)據(jù)分發(fā)、營收分析、監(jiān)管報告和市場運營系統(tǒng)等更多系統(tǒng)遷到亞馬遜云科技上。
納斯達克跟亞馬遜云科技的合作,意義遠不止于此。如今,納斯達克不僅通過Outposts建立了一個混合架構(gòu),推出了金融行業(yè)的第一個專用亞馬遜云科技本地區(qū)域。而且通過標準化的上云路徑為全球的130多個企業(yè)客戶提供服務(wù),將企業(yè)客戶的數(shù)據(jù)孤島打通,真正能夠更好的為數(shù)據(jù)服務(wù),創(chuàng)造新的價值。
納斯達克與亞馬遜云科技的故事,發(fā)生在此次re:Invent全球大會上,納斯達克宣布將分階段把全部業(yè)務(wù)遷移到亞馬遜云科技。2022年,納斯達克將先把美國一個期權(quán)交易市場上云。這意味著納斯達克將把自己的核心業(yè)務(wù),與云進行深度捆綁。亞馬遜機器學(xué)習(xí)副總裁 Swami Sivasubramanian指出,如果把數(shù)據(jù)從采集、存儲、分析到最終價值的挖掘比喻成一場數(shù)據(jù)的旅行,那么這段旅行中的每一個階段,都需要現(xiàn)代化的創(chuàng)新工具來輔助它。
數(shù)據(jù)價值之旅,需要端到端的現(xiàn)代化數(shù)據(jù)工具
最近研究報告顯示,從現(xiàn)在到2024年,全球三年產(chǎn)生的數(shù)據(jù)量將會超過過去30年產(chǎn)生的所有數(shù)據(jù)量。針對海量數(shù)據(jù),以及數(shù)據(jù)的多樣化,從數(shù)據(jù)采集、存儲、分析到價值挖掘,每一個階段都面臨著不同的挑戰(zhàn)。無論是工業(yè)設(shè)備的數(shù)據(jù)、網(wǎng)站的日志數(shù)據(jù)、金融的風(fēng)控數(shù)據(jù),還是基因組研究分析的數(shù)據(jù)等都需要從底層架構(gòu)、存儲系統(tǒng)、數(shù)據(jù)管理和業(yè)務(wù)創(chuàng)新角度進行多方位融合和創(chuàng)新。
為了實現(xiàn)數(shù)據(jù)價值之旅,亞馬遜云科技能夠為數(shù)據(jù)服務(wù)提供從數(shù)據(jù)存儲、到計算、分析、人工智能創(chuàng)新的完整的、端到端的工具。并從數(shù)據(jù)架構(gòu)現(xiàn)代化、統(tǒng)一數(shù)據(jù)分析以及基于數(shù)據(jù)進行業(yè)務(wù)創(chuàng)新三個維度實施現(xiàn)代化端到端數(shù)據(jù)戰(zhàn)略。利用廣泛而深入的云服務(wù),憑借在數(shù)據(jù)領(lǐng)域的產(chǎn)品創(chuàng)新與前瞻眼光,助力企業(yè)實施現(xiàn)代化的端到端數(shù)據(jù)戰(zhàn)略,實現(xiàn)數(shù)據(jù)驅(qū)動的創(chuàng)新。
現(xiàn)代化的應(yīng)用催生現(xiàn)代化的數(shù)據(jù)架構(gòu)
今天有太多的現(xiàn)代化應(yīng)用,無論是像電商、購物還是視頻、社交、出行類等不同應(yīng)用的App,其產(chǎn)生的數(shù)據(jù)級別都是PB甚至EB級,而且這些應(yīng)用要應(yīng)付的并發(fā)請求要服務(wù)于全世界幾億人,同時在高峰期還要保持超低的延遲,這些現(xiàn)代化應(yīng)用需求呼喚新的數(shù)據(jù)庫技術(shù)。因此,數(shù)據(jù)架構(gòu)的現(xiàn)代化首先從數(shù)據(jù)庫開始,針對不同的場景需要使用專門構(gòu)建的工具,專門的工具需要專業(yè)的現(xiàn)代化托管平臺,亞馬遜云科技擁有無與倫比的成熟度和經(jīng)驗。此次re:Invent,亞馬遜云科技在已經(jīng)很豐富的數(shù)據(jù)服務(wù)組合之上,又發(fā)布多個數(shù)據(jù)工具。包括:
Amazon DevOps Guru for RDS是一個數(shù)據(jù)庫性能工具,它利用機器學(xué)習(xí),可以在幾分鐘內(nèi)自動檢測、診斷和解決難以發(fā)現(xiàn)的數(shù)據(jù)庫性能問題。
Amazon RDS Custom 提供了 SQL Server支持,它通過托管式服務(wù)節(jié)省時間,幫助實現(xiàn)自動化版本維護與補丁升級,將寶貴的資源專注于更重要的業(yè)務(wù)。
本次re:Invent,另外一個重要的發(fā)布是Amazon Dynamodb 的新功能Standard-Infrequent Access表類,它可以將不頻繁訪問的表數(shù)據(jù)進行分類,DynamoDB 的存儲成本降低可達60%。
Amazon Database Migration Service Fleet Advisor 是一個數(shù)據(jù)庫遷移工具,它允許您通過自動發(fā)現(xiàn)和分析遷移隊列來快速構(gòu)建數(shù)據(jù)庫和數(shù)據(jù)分析服務(wù)遷移計劃。Amazon DMS Fleet Advisor 面向希望將大量數(shù)據(jù)庫和分析服務(wù)器遷移到亞馬遜云科技的用戶。
打破數(shù)據(jù)孤島,實現(xiàn)數(shù)據(jù)統(tǒng)一分析
今天,包括制造、金融、互聯(lián)網(wǎng)等行業(yè)不僅有來自數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)、視頻圖片等非結(jié)構(gòu)化數(shù)據(jù),同時也產(chǎn)生了大量的來自于工業(yè)設(shè)備和網(wǎng)站日志的半結(jié)構(gòu)化數(shù)據(jù),如何將來自于數(shù)據(jù)庫、數(shù)據(jù)倉庫等結(jié)構(gòu)化數(shù)據(jù),以及來自多種數(shù)據(jù)源的半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)全部整合在一起,并利用這些數(shù)據(jù)進行分析和機器學(xué)習(xí)成為業(yè)內(nèi)企業(yè)面臨的挑戰(zhàn)。
亞馬遜云科技通過云上專門工具實現(xiàn)數(shù)據(jù)有機整合與統(tǒng)一,助力企業(yè)打破數(shù)據(jù)孤島。通過在亞馬遜云科技上運行的數(shù)據(jù)湖,能夠收集、存儲和分析來自一系列分散系統(tǒng)的數(shù)據(jù),助力業(yè)務(wù)發(fā)展。亞馬遜云科技為在 Amazon S3 上構(gòu)建數(shù)據(jù)湖提供了無與倫比的耐用性、可用性和可擴展性,以及強大的安全性和分析工具,使用亞馬遜云科技最新發(fā)布的數(shù)據(jù)湖構(gòu)建工具,可以快速構(gòu)建適合的數(shù)據(jù)湖,如今全球客戶在亞馬遜云科技上擁有數(shù)十萬個數(shù)據(jù)湖,比如Amazon Lake Formation,目的就是幫助企業(yè)快速的去構(gòu)建數(shù)據(jù)湖,同時可以構(gòu)建統(tǒng)一的數(shù)據(jù)湖的管理;而Amazon Athena 能夠提供了一種有用的方法來分析所有數(shù)據(jù),獲得見解;利用 Amazon QuickSight Q,客戶可以快速、輕松地獲得答案,所有用戶無需培訓(xùn)即可訪問 BI。
通過賦能業(yè)務(wù)創(chuàng)新體現(xiàn)數(shù)據(jù)價值
“以客戶為中心”相信是根植于每個企業(yè)的業(yè)務(wù)發(fā)展過程中,因此,通過數(shù)據(jù)進行創(chuàng)新的內(nèi)核是“從客戶角度出發(fā)”,通過企業(yè)基于自身業(yè)務(wù)的創(chuàng)新訴求這個原動力來實施數(shù)據(jù)創(chuàng)新。人工智能等技術(shù)為創(chuàng)新提供了新的手段和方法,來讓公司或者組織中的每個人都可以更容易、更加自助地做數(shù)據(jù)分析和洞察,讓不懂SQL、數(shù)據(jù)分析技術(shù)的業(yè)務(wù)人員也可以更自助、更主動利用數(shù)據(jù)分析和機器分析的能力做他的業(yè)務(wù)決策和進行數(shù)據(jù)分析。
本次re:Invent,亞馬遜云科技業(yè)界聞名的機器學(xué)習(xí)平臺Amazon SageMaker又添六項新功能來助力企業(yè)進行業(yè)務(wù)決策和數(shù)據(jù)分析。
亞馬遜云科技新推出的Amazon SageMaker Ground Truth Plus,讓用戶無需編寫任何代碼即可快速交付高質(zhì)量的訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)是機器學(xué)習(xí)的燃料。不過,準備數(shù)據(jù)的過程令人痛苦沮喪甚至令人憤怒。這項新功能,極大地解決了數(shù)據(jù)科學(xué)家準備數(shù)據(jù)的痛點問題。
在模型構(gòu)建與算法編寫環(huán)節(jié),新推出的Amazon SageMaker Studio Notebook 允許用戶訪問廣泛的數(shù)據(jù)源,在一個記事本中執(zhí)行數(shù)據(jù)工程、分析和機器學(xué)習(xí)工作流。
新推出的Training Compiler 模型訓(xùn)練編譯器,讓機器學(xué)習(xí)模型培訓(xùn)速度提高50%。Inference Recommender 模型推理推薦程序,可將部署時間從數(shù)周減少到數(shù)小時。Serverless Inference 無服務(wù)器推理(預(yù)覽版),通過按使用付費的定價降低擁有成本。
寫在最后,可以看到如果想釋放數(shù)據(jù)的更大價值,一方面要看到數(shù)據(jù)的流動屬性,通過亞馬遜云科技的創(chuàng)新工具可以在數(shù)據(jù)庫、數(shù)據(jù)湖、分析引擎和機器學(xué)習(xí)工具之間讓數(shù)據(jù)更好地自由流動,另一方面要實現(xiàn)數(shù)據(jù)和業(yè)務(wù)的融合創(chuàng)新,這樣就能助力企業(yè)利用數(shù)據(jù)得到更好的洞察,更快速的采取行動,最終實現(xiàn)企業(yè)的核心競爭力。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼