Kafka是由Apache軟件基金會(huì)開發(fā)的一個(gè)開源流處理平臺(tái)，由Scala和Java編寫，用于發(fā)布、訂閱記錄流和容錯(cuò)存儲(chǔ)。確切地說，它是一個(gè)高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)，包括網(wǎng)頁(yè)瀏覽、搜索和其他用戶的相關(guān)行為等等，這些數(shù)據(jù)由于吞吐量的要求通常是通過處理日志和日志聚合來解決。相較于Hadoop這樣的日志數(shù)據(jù)和離線分析系統(tǒng)，Kafka可以更好地滿足數(shù)據(jù)實(shí)時(shí)處理的要求，其目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，同時(shí)通過集群來提供實(shí)時(shí)的消息。主要具有如下特點(diǎn)：

有如下特性：
通過O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對(duì)于數(shù)以TB的消息存儲(chǔ)也能夠保持長(zhǎng)時(shí)間的穩(wěn)定性能；
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒數(shù)百萬(wàn)的消息；
支持通過Kafka服務(wù)器和消費(fèi)機(jī)集群來分區(qū)消息；
支持Hadoop并行數(shù)據(jù)加載。

Kafka是一種用于構(gòu)建現(xiàn)代化事件驅(qū)動(dòng)型應(yīng)用的實(shí)用技術(shù)，用于提供Hadoop大數(shù)據(jù)湖的數(shù)據(jù)流，通常用來為實(shí)時(shí)流式數(shù)據(jù)體系結(jié)構(gòu)提供實(shí)時(shí)分析。主要用于相應(yīng)不斷變化的事件，可以實(shí)現(xiàn)事件流回放，通過復(fù)制實(shí)現(xiàn)高可用性實(shí)現(xiàn)自然水平擴(kuò)展，最終幫助企業(yè)從海量數(shù)據(jù)中發(fā)掘洞察力。簡(jiǎn)而言之，Kafka多用于流處理、網(wǎng)站活動(dòng)跟蹤、度量收集和監(jiān)控、日志聚合、實(shí)時(shí)分析、CEP，并將數(shù)據(jù)導(dǎo)入到Spark中、Hadoop、CQRS等，進(jìn)行消息重播、錯(cuò)誤恢復(fù)，并保證內(nèi)存計(jì)算（微服務(wù)）的分布式日志提交。

Kafka適用于對(duì)海量數(shù)據(jù)流有實(shí)時(shí)收集、處理或分析的企業(yè)。目前全球超過三分之一的財(cái)富500強(qiáng)企業(yè)都在使用Kafka，包括前十大旅游公司、前十大銀行中的七家、十大保險(xiǎn)公司中的八家以及十大電信公司中的九家。此外，LinkedIn、微軟、Twitter和Netflix等企業(yè)每天也都在使用Kafka處理四條逗號(hào)消息。LinkedIn本身起源于Kafka，并用它來跟蹤活動(dòng)數(shù)據(jù)和運(yùn)營(yíng)指標(biāo)；Twitter使用它作為Storm的一部分來提供流處理基礎(chǔ)設(shè)施；Square借助Kafka將所有系統(tǒng)事件轉(zhuǎn)移到各種Square數(shù)據(jù)中心（日志，自定義事件，度量標(biāo)準(zhǔn)等），輸出到Splunk、Graphite（儀表板）以及Esper-like / CEP警報(bào)系統(tǒng)。Spotify、Uber、Tumbler、Goldman Sachs、PayPal、Box、Cisco、CloudFlare和Netflix等企業(yè)也使用這種方法。

IBM Event Streams是一個(gè)基于開源Apache Kafka項(xiàng)目的事件流平臺(tái)。它構(gòu)建于IBM Cloud Private平臺(tái)之上，是一個(gè)高吞吐量、容錯(cuò)的事件管理平臺(tái)，可以幫助企業(yè)構(gòu)建用于構(gòu)建事件驅(qū)動(dòng)的應(yīng)用程序。它使得Kafka的使用變得更加簡(jiǎn)單直觀，而用于災(zāi)難恢復(fù)的地理復(fù)制等功能則使其更適合關(guān)鍵任務(wù)工作負(fù)載。此外，它還包括一個(gè)UI設(shè)計(jì)，可以幫助應(yīng)用程序開發(fā)人員更便捷地使用Kafka，并運(yùn)行相關(guān)的生產(chǎn)集群。企業(yè)可以使用IBM Cloud提供的完全托管的Event Streams服務(wù)，也可以在IBM Cloud Private中安裝和管理自己的Event Streams版本。

在數(shù)分鐘內(nèi)就能將適于在生產(chǎn)中使用的 Apache Kafka 部署到 IBM Cloud Private，消除了配置和部署中間件的復(fù)雜性，讓技術(shù)人員能夠更專注于編寫事件驅(qū)動(dòng)和響應(yīng)式應(yīng)用程序；

專為任務(wù)關(guān)鍵型用例而設(shè)計(jì)的災(zāi)難恢復(fù)與安全功能，利用易于配置的地域間復(fù)制功能，可以在兩個(gè)位置的群集之間備份數(shù)據(jù)，以便在災(zāi)后快速恢復(fù)。使用服務(wù) ID 進(jìn)行更安全的應(yīng)用訪問控制，對(duì)用戶及用戶組信息進(jìn)行集中控制，并使用基于角色的訪問控制策略控制對(duì) Event Streams 資源的訪問；

使Apache易于更直觀地大規(guī)模使用，深入了解群集內(nèi)的數(shù)據(jù)，以監(jiān)控系統(tǒng)的運(yùn)行狀況并有效診斷可能出現(xiàn)的應(yīng)用程序問題。借助IBM Event Streams，企業(yè)可以將流經(jīng)Kafka的數(shù)據(jù)從高級(jí)吞吐量趨勢(shì)隨時(shí)間可視化為單個(gè)消息內(nèi)容，即使對(duì)于高吞吐量工作負(fù)載也是如此；

充分利用現(xiàn)有數(shù)據(jù)，將自身轉(zhuǎn)變?yōu)檎嬲�的事件�?qū)動(dòng)型企業(yè)，IBM Event Streams支持企業(yè)與正在使用的系統(tǒng)進(jìn)行連接，包括IBM MQ和IBM App Connect Enterprise等。讓企業(yè)充分利用現(xiàn)有的投資、技術(shù)及數(shù)據(jù)，并使用事件驅(qū)動(dòng)技術(shù)提供響應(yīng)更快，更個(gè)性化的體驗(yàn)。

2015 年，IBM 是在 IBM Cloud 上提供完全托管的 Apache Kafka 云服務(wù)的第一家供應(yīng)商，并在全球運(yùn)行 Apache Kafka方面擁有多年的豐富經(jīng)驗(yàn)在；

IBM Event Streams 打包為一個(gè) Helm Chart，包含一個(gè) 3 節(jié)點(diǎn)的 Kafka 集群，外加 ZooKeeper、UI、網(wǎng)絡(luò)代理等，共有 20 多個(gè)容器，非常易于安裝和維護(hù)。此外，Kubernetes 和 Helm 也可以確保所有容器的可控性；

具有高可用性、可擴(kuò)展性并且易于配置。采用高可用性設(shè)計(jì)，通過單個(gè)命令擴(kuò)展 Kafka 集群，可以輕松推出 Kafka 集群配置的更改；

使得Kafka版本的升級(jí)過程更安全和簡(jiǎn)化，同時(shí)也讓 Kafka 變得更直觀、更易使用，比如實(shí)現(xiàn)了工作負(fù)載的可視化，集成式反饋和支持

數(shù)據(jù)分析工具的事件輸入緩沖區(qū)：從物聯(lián)網(wǎng)、網(wǎng)站跟蹤系統(tǒng)或后臺(tái)系統(tǒng)中收集海量事件，并將其反饋輸入到大數(shù)據(jù)分析工具中；

事件驅(qū)動(dòng)型微服務(wù)：使用事件來源范例或被動(dòng)框架圍繞中央總線構(gòu)建敏捷的云原生應(yīng)用；

與云原生應(yīng)用相銜接：從現(xiàn)有系統(tǒng)中提取事件，為下一代的響應(yīng)性云原生應(yīng)用提供助力。

幫助企業(yè)抓住時(shí)機(jī)提前相應(yīng)事件：比如監(jiān)測(cè) Web 渠道中“被舍棄的購(gòu)物車”，從而抓住當(dāng)時(shí)轉(zhuǎn)瞬即逝的時(shí)機(jī)與潛在客戶進(jìn)行交互；

提供極具響應(yīng)性的個(gè)性化客戶體驗(yàn)：在 API 需要數(shù)據(jù)之前將數(shù)據(jù)送至 API，消除加載期，提升 API 的響應(yīng)性，最終提升用戶體驗(yàn)水平；

將實(shí)時(shí)智能引入到應(yīng)用之中：將情境信息引入到機(jī)器學(xué)習(xí)模型之中，從而幫助企業(yè)作出可根據(jù)情形變化而不斷演變的實(shí)時(shí)建議

戳此鏈接：https://ibm.github.io/event-streams/installing/trying-out/ 即可免費(fèi)試用