鏈接：https://pan.baidu.com/s/1Z2C3Tu4LihzoMTB7uPoFRw?pwd=u4cb?

提取碼：u4cb

本書從項目背景、基本概念、架構設計和工程實踐等多角度出發(fā)，全面解讀Pulsar的核心原理與應用方法。作為云原生的分布式消息隊列和流數(shù)據(jù)平臺，Pulsar不僅支持云原生、多租戶、跨區(qū)域數(shù)據(jù)復制等高級功能，還支持消息隊列事務、分層存儲、可插拔的消息隊列協(xié)議、Pulsar Function、Pulsar I/O、Pulsar SQL等拓展功能，且可與Apache Spark、Apache Flink等計算引擎，及Apache Flume、Apache Kafka、Logstash等社區(qū)生態(tài)相結合。所以，通過Pulsar可以輕松構建出一整套的數(shù)據(jù)服務。本書對這些內(nèi)容均進行了詳細介紹。

(資料圖)

本書包括3篇11章。*基礎篇（第1~4章）首先對Pulsar的背景進行簡單介紹，并對多種消息隊列進行重點比較分析；然后對Pulsar的基本概念和基本架構進行分析，讓讀者對Pulsar有一個總體的了解；接著分享了Pulsar安裝與部署的方法，以方便讀者快速上手并構建自己的服務；最后深度解讀了Pulsar的基本使用方法。

*原理篇（第5~7章）首先深度解讀了Pulsar的核心組件Broker、Bookie、ManagedLedger、主題管理等的原理；然后分析了構建在這些核心組件之上的高級特性，如事務管理、消息協(xié)議拓展、分層存儲設計、消息延遲傳遞與主題壓縮；最后對Pulsar提供的輕量化流數(shù)據(jù)處理引擎Pulsar Function及I/O功能進行剖析。

*應用篇（第8~11章）首先分享了Pulsar在結構化數(shù)據(jù)查詢與實時處理引擎技術方面的實踐，介紹了Pulsar如何與Trino、Flink、Spark等引擎相結合；接著對Pulsar安全配置、服務管理、服務監(jiān)控等進行討論；最后介紹了Pulsar服務的應用模式，以及Pulsar在數(shù)據(jù)集成、動態(tài)數(shù)據(jù)捕獲和高可靠性配置等方面的實踐。

內(nèi)容簡介

這是一本從實踐角度解讀Apache Pulsar相關組件、工作原理和落地實踐的專業(yè)指導書。本書主要面向的是初中級讀者，從基礎概念講起，逐漸擴展到基本操作、核心技術、常用工具及典型應用等。

本書共分為10章：

第1章主要介紹與Apache Pulsar相關的基礎知識，比如發(fā)展歷史、適用場景、優(yōu)勢與不足，以及與消息隊列框架相關的知識等。

第2章主要介紹Apache Pulsar的核心概念和架構。

第3~9章主要介紹進行實操必須具備的內(nèi)容，比如Apache Pulsar安裝部署的方法、基本操作、核心組件、高級特性、輸入/輸出、Pulsar SQL、運維方法等。

第10章是實操落地的方法，包括Pulsarde 應用模式、flink配合實現(xiàn)實時處理、構建實時消息管道得具體實踐等。

作者簡介

楊國棟騰訊軟件工程師，Apache Pulsar、Apache Flink等項目的核心貢獻者，Apache Pulsar社區(qū)開源愛好者，杭州電子科技大學碩士。曾參與某大型數(shù)據(jù)中臺建設項目，以及消息隊列服務（Pulsar、Kafka）及其相關數(shù)據(jù)總線服務的開發(fā)與建設工作。在Apache Pulsar、Apache Flink落地實踐方面具有豐富的經(jīng)驗。公眾號“大數(shù)據(jù)技術事務所”運營者。專注于技術積累，熱愛技術分享，活躍于多個技術論壇。

精彩書評

*使用消息隊列可以在很大程度上解決海量數(shù)據(jù)吞吐、削峰填谷、系統(tǒng)耦合等問題。對于大數(shù)據(jù)場景下的流式數(shù)據(jù)處理，Pulsar無疑是好的選擇。本書對Pulsar的基本概念、架構和常用技巧進行了詳細描述，并深入淺出地介紹了Pulsar的核心基礎，同時結合作者在國內(nèi)外一線互聯(lián)網(wǎng)公司實際工作經(jīng)驗，系統(tǒng)性講解了Pulsar的搭建和使用方法、運行原理。本書內(nèi)容包羅萬象，講解深入淺出，是研發(fā)人員的參考指南。從業(yè)者通讀本書一定能得到啟發(fā)。張建?！〔┦?，教授，杭州電子科技大學計算機學院副院長，浙江省腦機協(xié)同智能重點實驗室副主任*Pulsar是目前開源項目里較為年輕的消息隊列引擎，它既強大又神秘，且讓很多初學者無從下手。相信這本書的出現(xiàn)能在很大程度上改變這種狀況。從運行原理到使用方法再到安裝部署和運維監(jiān)控，本書從實踐角度詳細介紹了關于Pulsar的方方面面。通過本書你可以更好地進入Pulsar的世界。鄒博　睿客邦創(chuàng)始人，中國地質科學院資源所人工智能團隊負責人，中海油工技數(shù)字中心顧問*隨著流數(shù)據(jù)處理技術的普及與發(fā)展，Pulsar正逐漸展露出強大的消息處理和服務能力，越來越多的公司選擇使用Pulsar作為消息服務。本書從原理和實踐兩個角度深入介紹了Pulsar技術，同時注重介紹Pulsar與Flink、Trino等生態(tài)的整合，可幫助讀者基于Pulsar快速構建云原生流數(shù)據(jù)平臺和應用，非常值得推薦。張利兵　《Flink原理、實戰(zhàn)與性能優(yōu)化》《Flink設計與實現(xiàn)》作者*本書從基本概念、核心原理、應用實踐等多個層面出發(fā)，對Apache Pulsar進行了剖析，并特別注重理論與實踐的結合，值得推薦。朱凱　 明源云 天際數(shù)據(jù)平臺技術總監(jiān)

目錄

前　言

基礎篇

第1章　Pulsar概述　　2

1.1　Pulsar是什么　　2

1.2　Pulsar的優(yōu)勢　　3

1.2.1　Pulsar不只是消息隊列　　4

1.2.2　存儲與計算分離　　4

1.2.3　云原生架構　　5

1.2.4　Pulsar的存儲特性　　6

1.2.5　消息傳輸協(xié)議　　8

1.2.6　消費方式　　8

1.2.7　豐富的功能與生態(tài)　　9

1.3　消息隊列對比　　9

1.3.1　消息隊列簡介　　10

1.3.2　性能與可靠性　　11

1.3.3　功能特性對比　　14

1.4　快速體驗　　17

1.4.1　下載安裝　　17

1.4.2　單機服務啟動　　17

1.4.3　生產(chǎn)與消費　　18

第2章　Pulsar的基本概念和架構

詳解　　20

2.1　Pulsar的基本概念　　20

2.1.1　多租戶與命名空間　　20

2.1.2　主題　　21

2.1.3　生產(chǎn)者　　22

2.1.4　消費者與訂閱　　24

2.1.5　消息的保留與過期　　27

2.2　Pulsar的邏輯架構　　28

2.2.1　主題的配置管理　　29

2.2.2　主題的數(shù)據(jù)流轉　　30

2.2.3　主題的數(shù)據(jù)存儲　　31

2.3　Pulsar物理架構　　32

2.3.1　物理架構概述　　32

2.3.2　核心組件與服務　　35

第3章　Pulsar安裝與部署　　39

3.1　依賴環(huán)境　　39

3.1.1　安裝Java　　39

3.1.2　Pulsar安裝包　　40

3.2　分布式部署　　42

3.2.1　資源分配規(guī)劃　　42

3.2.2　集群搭建實戰(zhàn)　　44

3.3　Docker部署　　47

3.3.1　Docker單機部署　　47

3.3.2　Docker分布式部署　　48

3.4　Kubernetes部署　　48

3.4.1　minikube環(huán)境安裝　　48

3.4.2　Helm Chart安裝　　49

3.4.3　在Kubernetes中使用

Pulsar　　51

3.5　源碼的結構與編譯　　52

3.5.1　源碼結構　　52

3.5.2　源碼編譯　　52

第4章　Pulsar的基本操作　　54

4.1　生產(chǎn)者開發(fā)　　54

4.1.1　生產(chǎn)者概覽　　54

4.1.2　構建客戶端對象　　56

4.1.3　構建生產(chǎn)者　　58

4.1.4　數(shù)據(jù)發(fā)送路由規(guī)則　　60

4.1.5　分批發(fā)送　　63

4.1.6　分塊發(fā)送　　64

4.1.7　生產(chǎn)者攔截器　　64

4.2　消費者開發(fā)　　65

4.2.1　構建消費者　　65

4.2.2　數(shù)據(jù)確認　　68

4.2.3　消費者攔截器　　72

4.2.4　消費者監(jiān)聽器　　72

4.3　Reader開發(fā)　　73

4.4　模式管理　　74

4.4.1　模式類型　　75

4.4.2　自動模式　　78

4.4.3　模式管理　　79

原理篇

第5章　Pulsar核心組件原理　　84

5.1　Broker原理　　84

5.1.1　通信協(xié)議層　　84

5.1.2　主題查找服務　　89

5.1.3　租戶與命名空間管理　　90

5.1.4　負載管理　　92

5.2　BookKeeper原理　　94

5.2.1　BookKeeper簡介　　94

5.2.2　BookKeeper的使用　　100

5.3　ManagedLedger組件　　100

5.3.1　ManagedLedger簡介　　101

5.3.2　消息積壓的配額管理　　102

5.3.3　消息的保留與清理　　103

5.3.4　消息的寫入　　104

5.3.5　消息的緩存與讀取　　104

5.4　主題管理　　105

5.4.1　Pulsar主題管理架構　　106

5.4.2　生產(chǎn)者原理　　108

5.4.3　訂閱與消費者原理　　110

5.4.4　消息生存時間與持久化

控制　　114

第6章　Pulsar高級特性　　115

6.1　Pulsar事務　　115

6.1.1　消息隊列事務隔離級別　　116

6.1.2　Pulsar事務簡介　　117

6.1.3　Pulsar事務的使用方法　　118

6.1.4　Pulsar事務實現(xiàn)原理及關鍵

流程　　119

6.2　消息隊列協(xié)議層　　122

6.2.1　協(xié)議處理器　　122

6.2.2　Pulsar上的Kafka簡介　　125

6.2.3　Pulsar上的Kafka使用　　126

6.2.4　Pulsar上的Kafka工作

原理　　128

6.3　分層存儲　　130

6.3.1　分層存儲的設計　　130

6.3.2　分層存儲的使用　　131

6.3.3　分層存儲的原理　　133

6.4　消息延遲傳遞　　133

6.5　主題壓縮　　134

6.5.1　主題壓縮應用　　135

6.5.2　主題壓縮原理　　135

第7章　Pulsar Function與

Pulsar I/O　　137

7.1　Pulsar Function簡介　　137

7.1.1　Pulsar Function編程模型　　137

7.1.2　Pulsar Function邏輯結構與

應用場景　　140

7.2　Pulsar Function應用實踐　　141

7.2.1　Pulsar Function的部署與

使用　　141

7.2.2　自定義Pulsar Function

開發(fā)　　146

7.2.3　Pulsar Function語義支持　　148

7.3　Pulsar Function原理　　150

7.3.1　Pulsar Function運行流程　　150

7.3.2　Function Worker組件工作

原理　　152

7.3.3　Pulsar運行時　　153

7.4　Pulsar I/O　　154

7.4.1　Pulsar I/O概述　　154

7.4.2　使用內(nèi)置的Pulsar連接器　　155

7.4.3　開發(fā)自定義連接器　　156

7.4.4　實例層原理　　160

應用篇

第8章　Pulsar SQL架構、配置與

實現(xiàn)原理　　164

8.1　Trino簡介　　164

8.1.1　Trino架構簡介　　165

8.1.2　存儲與計算分離　　168

8.2　Pulsar SQL配置　　169

8.2.1　單機體驗Pulsar SQL　　169

8.2.2　數(shù)據(jù)查詢　　170

8.3　Pulsar連接器工作原理　　171

8.4　Pulsar聯(lián)邦查詢　　172

8.4.1　準備數(shù)據(jù)源　　173

8.4.2　聯(lián)邦查詢　　175

第9章　管理你的Pulsar　　176

9.1　Pulsar安全配置　　176

9.1.1　數(shù)據(jù)加密　　176

9.1.2　授權與認證　　180

9.1.3　自定義權限插件　　186

9.2　Pulsar監(jiān)控配置　　189

9.2.1　Pulsar監(jiān)控概述　　189

9.2.2　Prometheus部署　　190

9.2.3　Grafana儀表盤配置　　191

9.3　Pulsar管理工具　　192

9.3.1　pulsar-admin工具　　192

9.3.2　Pulsar Manager工具　　196

9.3.3　性能壓測工具　　197

9.3.4　ManagedLedger管理　　199

9.4　集群管理　　201

9.4.1　配置管理　　201

9.4.2　Pulsar資源配置　　203

第10章　Pulsar與Flink生態(tài)　　206

10.1　Flink簡介　　207

10.1.1　Flink的概念　　207

10.1.2　Flink基本組件　　212

10.2　Flink Pulsar源連接器　　214

10.2.1　源連接器的使用　　214

10.2.2　源連接器原理　　218

10.3　Flink Pulsar輸出連接器　　220

10.3.1　統(tǒng)一接收器API　　221

10.3.2　Flink Pulsar Sink API的

使用　　221

10.3.3　PulsarSink原理　　223

第11章　Pulsar應用實踐　　224

11.1　Pulsar應用模式　　224

11.1.1　Pulsar數(shù)據(jù)總線概述　　224

11.1.2　Pulsar數(shù)據(jù)集成　　226

11.2　Pulsar與Spark集成　　230

11.3　Pulsar與Kafka集成　　231

11.3.1　Kafka客戶端適配器　　231

11.3.2　Pulsar I/O Kafka　　233

11.3.3　Pulsar Connector適配器　　234

11.4　Pulsar CDC　　236

11.4.1　Pulsar Canal CDC　　236

11.4.2　Pulsar Debezium CDC　　238

11.5　可靠性優(yōu)先場景　　239

11.5.1　冪等性、消息確認與

事務　　239

11.5.2　可靠性與一致性　　240

查看全部↓

前言/序言

【為什么要寫本】

Pulsar是一個集消息傳遞、消息存儲、輕量化函數(shù)式計算于一體的云原生流數(shù)據(jù)平臺。Pulsar提供數(shù)據(jù)存儲與消費能力，憑借優(yōu)秀的架構設計、強大的可擴展性，在消息隊列、流數(shù)據(jù)處理等多個領域被廣泛使用。

筆者最初接觸Pulsar時其社區(qū)版本是2.4，彼時的Pulsar已嶄露頭角。但當時關于Pulsar的中文資料相當少，更不用說中文圖書了，很多問題需要通過求助于社區(qū)和閱讀源碼來解決。那時的Pulsar雖然優(yōu)秀，但是對于初學者來說學習與使用成本較高。在實際項目中，筆者及團隊伙伴使用Pulsar構建了數(shù)據(jù)服務，也發(fā)掘出Pulsar在工程實踐中的價值。筆者在學習與工作的過程中有意識地整理了大量與Pulsar相關的資料。

Pulsar在2016年發(fā)布了第一個社區(qū)版本，經(jīng)過多年的發(fā)展，越來越多的頭部公司使用Pulsar來構建消息服務。截至本書寫作時，Pulsar已經(jīng)迭代到2.10版本，功能日益完善，社區(qū)生態(tài)方興未艾。通過Pulsar，你不僅可以構建消息隊列服務，還可以構建可靠的、高吞吐量的大數(shù)據(jù)應用，甚至可以為金融場景提供高可靠、高性能的服務支持。