開放數(shù)據(jù)處理服務(wù)(Open Data Processing Service, 簡(jiǎn)稱ODPS)由阿里云自主研發(fā),針對(duì)TB/PB級(jí)數(shù)據(jù)、實(shí)時(shí)性要求不高的分布式處理能力,應(yīng)用于數(shù)據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域。阿里巴巴的離線數(shù)據(jù)業(yè)務(wù)都運(yùn)行在ODPS上。
ODPS能夠徹底無極限解決大數(shù)據(jù)存儲(chǔ)與運(yùn)算瓶頸,使您專心于數(shù)據(jù)分析和挖掘,最大化發(fā)揮數(shù)據(jù)價(jià)值。且能夠開箱即用,用戶無需關(guān)心集群的搭建和運(yùn)維,僅需簡(jiǎn)單的幾步操作,即可開始數(shù)據(jù)的分析和挖掘任務(wù)。ODPS的多層次數(shù)據(jù)存儲(chǔ)和訪問安全機(jī)制保護(hù)數(shù)據(jù)不丟失、不泄露、不被竊取。此外ODPS實(shí)行按量付費(fèi),最大化降低數(shù)據(jù)使用成本,幫助用戶解決數(shù)據(jù)煩惱,輕松實(shí)現(xiàn)大數(shù)據(jù)。
ODPS采用分布式架構(gòu)處理海量數(shù)據(jù),最大集群規(guī)模達(dá)到5000臺(tái),采用比MapReduce框架更加靈活的計(jì)算模型。ODPS存儲(chǔ)多份拷貝,所有計(jì)算在沙箱中運(yùn)行。ODPS以Java SDK方式提供服務(wù)基于表的數(shù)據(jù)存儲(chǔ),用戶不必關(guān)心文件存儲(chǔ)格式,基于SQL的數(shù)據(jù)處理使得用戶不必關(guān)心分布式技術(shù)細(xì)節(jié)。ODPS支持多用戶協(xié)同分析數(shù)據(jù),多種權(quán)限管理方式和靈活的數(shù)據(jù)訪問控制策略。