Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java編寫，用于發(fā)布、訂閱記錄流和容錯存儲。確切地說，它是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)，包括網(wǎng)頁瀏覽、搜索和其他用戶的相關(guān)行為等等，這些數(shù)據(jù)由于吞吐量的要求通常是通過處理日志和日志聚合來解決。相較于Hadoop這樣的日志數(shù)據(jù)和離線分析系統(tǒng)，Kafka可以更好地滿足數(shù)據(jù)實時處理的要求，其目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理，同時通過集群來提供實時的消息。主要具有如下特點：

有如下特性：
通過O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對于數(shù)以TB的消息存儲也能夠保持長時間的穩(wěn)定性能；
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒數(shù)百萬的消息；
支持通過Kafka服務(wù)器和消費機集群來分區(qū)消息；
支持Hadoop并行數(shù)據(jù)加載。

Kafka是一種用于構(gòu)建現(xiàn)代化事件驅(qū)動型應(yīng)用的實用技術(shù)，用于提供Hadoop大數(shù)據(jù)湖的數(shù)據(jù)流，通常用來為實時流式數(shù)據(jù)體系結(jié)構(gòu)提供實時分析。主要用于相應(yīng)不斷變化的事件，可以實現(xiàn)事件流回放，通過復(fù)制實現(xiàn)高可用性實現(xiàn)自然水平擴展，最終幫助企業(yè)從海量數(shù)據(jù)中發(fā)掘洞察力。簡而言之，Kafka多用于流處理、網(wǎng)站活動跟蹤、度量收集和監(jiān)控、日志聚合、實時分析、CEP，并將數(shù)據(jù)導(dǎo)入到Spark中、Hadoop、CQRS等，進行消息重播、錯誤恢復(fù)，并保證內(nèi)存計算（微服務(wù)）的分布式日志提交。

Kafka適用于對海量數(shù)據(jù)流有實時收集、處理或分析的企業(yè)。目前全球超過三分之一的財富500強企業(yè)都在使用Kafka，包括前十大旅游公司、前十大銀行中的七家、十大保險公司中的八家以及十大電信公司中的九家。此外，LinkedIn、微軟、Twitter和Netflix等企業(yè)每天也都在使用Kafka處理四條逗號消息。LinkedIn本身起源于Kafka，并用它來跟蹤活動數(shù)據(jù)和運營指標(biāo)；Twitter使用它作為Storm的一部分來提供流處理基礎(chǔ)設(shè)施；Square借助Kafka將所有系統(tǒng)事件轉(zhuǎn)移到各種Square數(shù)據(jù)中心（日志，自定義事件，度量標(biāo)準等），輸出到Splunk、Graphite（儀表板）以及Esper-like / CEP警報系統(tǒng)。Spotify、Uber、Tumbler、Goldman Sachs、PayPal、Box、Cisco、CloudFlare和Netflix等企業(yè)也使用這種方法。

IBM Event Streams是一個基于開源Apache Kafka項目的事件流平臺。它構(gòu)建于IBM Cloud Private平臺之上，是一個高吞吐量、容錯的事件管理平臺，可以幫助企業(yè)構(gòu)建用于構(gòu)建事件驅(qū)動的應(yīng)用程序。它使得Kafka的使用變得更加簡單直觀，而用于災(zāi)難恢復(fù)的地理復(fù)制等功能則使其更適合關(guān)鍵任務(wù)工作負載。此外，它還包括一個UI設(shè)計，可以幫助應(yīng)用程序開發(fā)人員更便捷地使用Kafka，并運行相關(guān)的生產(chǎn)集群。企業(yè)可以使用IBM Cloud提供的完全托管的Event Streams服務(wù)，也可以在IBM Cloud Private中安裝和管理自己的Event Streams版本。

在數(shù)分鐘內(nèi)就能將適于在生產(chǎn)中使用的 Apache Kafka 部署到 IBM Cloud Private，消除了配置和部署中間件的復(fù)雜性，讓技術(shù)人員能夠更專注于編寫事件驅(qū)動和響應(yīng)式應(yīng)用程序；

專為任務(wù)關(guān)鍵型用例而設(shè)計的災(zāi)難恢復(fù)與安全功能，利用易于配置的地域間復(fù)制功能，可以在兩個位置的群集之間備份數(shù)據(jù)，以便在災(zāi)后快速恢復(fù)。使用服務(wù) ID 進行更安全的應(yīng)用訪問控制，對用戶及用戶組信息進行集中控制，并使用基于角色的訪問控制策略控制對 Event Streams 資源的訪問；

使Apache易于更直觀地大規(guī)模使用，深入了解群集內(nèi)的數(shù)據(jù)，以監(jiān)控系統(tǒng)的運行狀況并有效診斷可能出現(xiàn)的應(yīng)用程序問題。借助IBM Event Streams，企業(yè)可以將流經(jīng)Kafka的數(shù)據(jù)從高級吞吐量趨勢隨時間可視化為單個消息內(nèi)容，即使對于高吞吐量工作負載也是如此；

充分利用現(xiàn)有數(shù)據(jù)，將自身轉(zhuǎn)變?yōu)檎嬲�的事件�?qū)動型企業(yè)，IBM Event Streams支持企業(yè)與正在使用的系統(tǒng)進行連接，包括IBM MQ和IBM App Connect Enterprise等。讓企業(yè)充分利用現(xiàn)有的投資、技術(shù)及數(shù)據(jù)，并使用事件驅(qū)動技術(shù)提供響應(yīng)更快，更個性化的體驗。

2015 年，IBM 是在 IBM Cloud 上提供完全托管的 Apache Kafka 云服務(wù)的第一家供應(yīng)商，并在全球運行 Apache Kafka方面擁有多年的豐富經(jīng)驗在；

IBM Event Streams 打包為一個 Helm Chart，包含一個 3 節(jié)點的 Kafka 集群，外加 ZooKeeper、UI、網(wǎng)絡(luò)代理等，共有 20 多個容器，非常易于安裝和維護。此外，Kubernetes 和 Helm 也可以確保所有容器的可控性；

具有高可用性、可擴展性并且易于配置。采用高可用性設(shè)計，通過單個命令擴展 Kafka 集群，可以輕松推出 Kafka 集群配置的更改；

使得Kafka版本的升級過程更安全和簡化，同時也讓 Kafka 變得更直觀、更易使用，比如實現(xiàn)了工作負載的可視化，集成式反饋和支持

數(shù)據(jù)分析工具的事件輸入緩沖區(qū)：從物聯(lián)網(wǎng)、網(wǎng)站跟蹤系統(tǒng)或后臺系統(tǒng)中收集海量事件，并將其反饋輸入到大數(shù)據(jù)分析工具中；

事件驅(qū)動型微服務(wù)：使用事件來源范例或被動框架圍繞中央總線構(gòu)建敏捷的云原生應(yīng)用；

與云原生應(yīng)用相銜接：從現(xiàn)有系統(tǒng)中提取事件，為下一代的響應(yīng)性云原生應(yīng)用提供助力。

幫助企業(yè)抓住時機提前相應(yīng)事件：比如監(jiān)測 Web 渠道中“被舍棄的購物車”，從而抓住當(dāng)時轉(zhuǎn)瞬即逝的時機與潛在客戶進行交互；

提供極具響應(yīng)性的個性化客戶體驗：在 API 需要數(shù)據(jù)之前將數(shù)據(jù)送至 API，消除加載期，提升 API 的響應(yīng)性，最終提升用戶體驗水平；

將實時智能引入到應(yīng)用之中：將情境信息引入到機器學(xué)習(xí)模型之中，從而幫助企業(yè)作出可根據(jù)情形變化而不斷演變的實時建議

戳此鏈接：https://ibm.github.io/event-streams/installing/trying-out/ 即可免費試用