配置集群

只需要將每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)的 cluster-enabled打開(kāi)即可，每個(gè)集群至少需要3個(gè)主數(shù)據(jù)庫(kù)才能正常運(yùn)行。

cluster-enabled?yes

集群會(huì)將當(dāng)前節(jié)點(diǎn)記錄的集群狀態(tài)持久化地存儲(chǔ)在指定文件，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的文件必須不同。

cluster-config-file?nodes-6381.conf

每個(gè)節(jié)點(diǎn)啟動(dòng)后都會(huì)輸出類似下面的內(nèi)容：?

No?cluster?configuration?found,?I'm?4b7cbeb343a2ba14d5b1b14457600624c076c157

4b7cbeb343a2…表示該節(jié)點(diǎn)的運(yùn)行ID，運(yùn)行ID是節(jié)點(diǎn)在集群中的唯一標(biāo)識(shí)；同一個(gè)運(yùn)行ID，可能地址和端口是不同的。

啟動(dòng)后，可連接任意一個(gè)節(jié)點(diǎn)使用 INFO 命令來(lái)判斷集群是否正常啟用了：

127.0.0.1:6381>?info?cluster
#?Cluster
cluster_enabled:1

##1表示集群正常啟用

?

現(xiàn)在每個(gè)節(jié)點(diǎn)都是完全獨(dú)立的，下面將它們加入同一個(gè)集群里。

Redis源代碼中提供了一個(gè)輔助工具redis-trib.rb可以非常方便地完成這一任務(wù)。因?yàn)閞edis-trib.rb是用Ruby語(yǔ)言編寫的，所以運(yùn)行前需要在服務(wù)器上安裝Ruby程序。redis-trib.rb 依賴于 gem 包 redis，可以執(zhí)行 gem install redis來(lái)安裝。

使用redis-trib.rb來(lái)初始化集群，只需要執(zhí)行：

$ /path/to/redis-trib.rb create --replicas 1 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385

其中 create參數(shù)表示要初始化集群，--replicas 1表示每個(gè)主數(shù)據(jù)庫(kù)擁有的從數(shù)據(jù)庫(kù)個(gè)數(shù)為1 。

執(zhí)行完后，redis-trib.rb會(huì)輸出如下內(nèi)容：

?>>> Creating cluster?

Connecting to node 127.0.0.1:6380: OK?

Connecting to node 127.0.0.1:6381: OK?

Connecting to node 127.0.0.1:6382: OK

?Connecting to node 127.0.0.1:6383: OK

?Connecting to node 127.0.0.1:6384: OK?

Connecting to node 127.0.0.1:6385: OK?

>>> Performing hash slots allocation on 6 nodes...?

Using 3 masters:?

127.0.0.1:6380?

127.0.0.1:6381?

127.0.0.1:6382?

Adding replica?127.0.0.1:6383 to 127.0.0.1:6380?

Adding replica 127.0.0.1:6384 to 127.0.0.1:6381

?Adding replica 127.0.0.1:6385 to 127.0.0.1:6382

?M:?

d4f906940d68714db787a60837f57fa496de5d12 127.0.0.1:6380 slots:0-5460 (5461 slots) master?

.....

內(nèi)容包括集群具體的分配方案，如果覺(jué)得沒(méi)問(wèn)題則輸入yes來(lái)開(kāi)始創(chuàng)建。

首先redis-trib.rb會(huì)以客戶端的形式嘗試連接所有的節(jié)點(diǎn)，并發(fā)送PING命令以確定節(jié)點(diǎn)能夠正常服務(wù)。如果有任何節(jié)點(diǎn)無(wú)法連接，則創(chuàng)建失敗。同時(shí)發(fā)送 INFO 命令獲取每個(gè)節(jié)點(diǎn)的運(yùn)行ID以及是否開(kāi)啟了集群功能（即cluster_enabled為1）。

準(zhǔn)備就緒后集群會(huì)向每個(gè)節(jié)點(diǎn)發(fā)送 CLUSTER MEET命令，格式為 CLUSTER MEET ip port，這個(gè)命令用來(lái)告訴當(dāng)前節(jié)點(diǎn)指定ip和port上在運(yùn)行的節(jié)點(diǎn)也是集群的一部分，從而使得6個(gè)節(jié)點(diǎn)最終可以歸入一個(gè)集群。

然后redis-trib.rb會(huì)分配主從數(shù)據(jù)庫(kù)節(jié)點(diǎn)，分配的原則是盡量保證每個(gè)主數(shù)據(jù)庫(kù)運(yùn)行在不同的IP地址上，同時(shí)每個(gè)從數(shù)據(jù)庫(kù)和主數(shù)據(jù)庫(kù)均不運(yùn)行在同一IP地址上，以保證系統(tǒng)的容災(zāi)能力。分配結(jié)果如下：

Using 3 masters:?

127.0.0.1:6380

?127.0.0.1:6381

?127.0.0.1:6382

Adding replica 127.0.0.1:6383 to 127.0.0.1:6380?

Adding replica 127.0.0.1:6384 to 127.0.0.1:6381

?Adding replica 127.0.0.1:6385 to 127.0.0.1:6382

其中主數(shù)據(jù)庫(kù)是 6380、6381 和 6382 端口上的節(jié)點(diǎn)，6383是6380的從數(shù)據(jù)庫(kù)，6384是6381的從數(shù)據(jù)庫(kù)，6385是6382的從數(shù)據(jù)庫(kù)。

分配完成后，會(huì)為每個(gè)主數(shù)據(jù)庫(kù)分配插槽(分配哪些鍵歸哪些節(jié)點(diǎn)負(fù)責(zé))。

對(duì)每個(gè)要成為子數(shù)據(jù)庫(kù)的節(jié)點(diǎn)發(fā)送 CLUSTER REPLICATE主數(shù)據(jù)庫(kù)的運(yùn)行 ID來(lái)將當(dāng)前節(jié)點(diǎn)轉(zhuǎn)換成從數(shù)據(jù)庫(kù)并復(fù)制指定運(yùn)行 ID 的節(jié)點(diǎn)（主數(shù)據(jù)庫(kù)）。?

此時(shí)整個(gè)集群的過(guò)程即創(chuàng)建完成，使用 Redis 命令行客戶端連接任意一個(gè)節(jié)點(diǎn)執(zhí)行CLUSTER NODES可以獲得集群中的所有節(jié)點(diǎn)信息，如在6380執(zhí)行：

redis 6380> CLUSTER NODES

551e5094789035affc489db267c8519c3a29f35d 127.0.0.1:6385 slave 887fe91bf218f203194403807e0aee941e985286 0 1424677377448 6 connected?

.......

從上面的輸出中可以看到所有節(jié)點(diǎn)的運(yùn)行ID、地址和端口、角色、狀態(tài)以及負(fù)責(zé)的插槽等信息.

節(jié)點(diǎn)的增加?

向新節(jié)點(diǎn)A發(fā)送如下命令即可：

?CLUSTER MEET ip port?

ip和port是集群中任意一個(gè)節(jié)點(diǎn)的地址和端口號(hào)，

A接收到客戶端發(fā)來(lái)的命令后，會(huì)與該地址和端口號(hào)的節(jié)點(diǎn)B進(jìn)行握手，使B將A認(rèn)作當(dāng)前集群中的一員。當(dāng)B與A握手成功后，B會(huì)使用Gossip協(xié)議將節(jié)點(diǎn)A的信息通知給集群中的每一個(gè)節(jié)點(diǎn)。通過(guò)這一方式，即使集群中有多個(gè)節(jié)點(diǎn)，也只需要選擇 MEET 其中任意一個(gè)節(jié)點(diǎn)，即可使新節(jié)點(diǎn)最終加入整個(gè)集群中。

插槽的分配?

新的節(jié)點(diǎn)加入集群后有兩種選擇，要么使用 CLUSTER REPLICATE命令復(fù)制每個(gè)主數(shù)據(jù)庫(kù)來(lái)以從數(shù)據(jù)庫(kù)的形式運(yùn)行，要么向集群申請(qǐng)分配插槽（slot）來(lái)以主數(shù)據(jù)庫(kù)的形式運(yùn)行。 在一個(gè)集群中，所有的鍵會(huì)被分配給16384個(gè)插槽，而每個(gè)主數(shù)據(jù)庫(kù)會(huì)負(fù)責(zé)處理其中的一部分插槽。

redis-trib.rb初始化集群時(shí)分配給每個(gè)節(jié)點(diǎn)的插槽都是連續(xù)的，但是實(shí)際上Redis并沒(méi)有此限制，可以將任意的幾個(gè)插槽分配給任意的節(jié)點(diǎn)負(fù)責(zé)。

鍵與插槽的對(duì)應(yīng)關(guān)系

Redis 將每個(gè)鍵的鍵名的有效部分使用CRC16算法計(jì)算出散列值，然后取對(duì)16384的余數(shù)。這樣使得每個(gè)鍵都可以分配到16384個(gè)插槽中，進(jìn)而分配的指定的一個(gè)節(jié)點(diǎn)中處理。這里鍵名的有效部分是指:

（1）如果鍵名包含{符號(hào)，且在{符號(hào)后面存在}符號(hào)，并且{和}之間有至少一個(gè)字符，則有效部分是指{和}之間的內(nèi)容；?

（2）如果不滿足上一條規(guī)則，那么整個(gè)鍵名為有效部分。

如果命令涉及多個(gè)鍵（如MGET），只有當(dāng)所有鍵都位于同一個(gè)節(jié)點(diǎn)時(shí) Redis 才能正常支持。利用鍵的分配規(guī)則，可以將所有相關(guān)的鍵的有效部分設(shè)置成同樣的值使得相關(guān)鍵都能分配到同一個(gè)節(jié)點(diǎn)以支持多鍵操作。

將插槽分配給指定節(jié)點(diǎn)

插槽的分配分為如下幾種情況。?

（1）插槽之前沒(méi)有被分配過(guò)，現(xiàn)在想分配給指定節(jié)點(diǎn)。

（2）插槽之前被分配過(guò)，現(xiàn)在想移動(dòng)到指定節(jié)點(diǎn)。

其中第一種情況使用 CLUSTER ADD SLOT S命令來(lái)實(shí)現(xiàn)，redis-trib.rb 也是通過(guò)該命令在創(chuàng)建集群時(shí)為新節(jié)點(diǎn)分配插槽的。CLUSTER ADDSLOTS命令的用法為：

CLUSTER ADDSLOTS slot1 [slot2] ... [slotN]

如想將 100 和 101 兩個(gè)插槽分配給某個(gè)節(jié)點(diǎn)，只需要在該節(jié)點(diǎn)執(zhí)行：

CLUSTER ADDSLOTS 100 101即可。

如果指定插槽已經(jīng)分配過(guò)了，則會(huì)提示：

(error) ERR Slot 100 is already busy

可以通過(guò)命令 CLUSTER SLOTS來(lái)查看插槽的分配情況，如：

?redis 6380> CLUSTER SLOTS?

1) 1) (integer) 5461?

2) (integer) 10922?

3) 1) "127.0.0.1"?

2) (integer) 6381

?4) 1) "127.0.0.1"?

2) (integer) 6384

2) 1) (integer) 0?

2) (integer) 5460?

3) 1) "127.0.0.1"?

2) (integer) 6380?

4) 1) "127.0.0.1"?

2) (integer) 6383

一共3條記錄，每條記錄的前兩個(gè)值表示插槽的開(kāi)始號(hào)碼和結(jié)束號(hào)碼，

后面的值則為負(fù)責(zé)該插槽的節(jié)點(diǎn)，包括主數(shù)據(jù)庫(kù)和所有的從數(shù)據(jù)庫(kù)，主數(shù)據(jù)庫(kù)始終在第一位。

使用redis-trib.rb將一個(gè)插槽從6380遷移到6381

$ /path/to/redis-trib.rb reshard 127.0.0.1:6380

其中reshard表示告訴redis-trib.rb要重新分片，127.0.0.1:6380是集群中的任意一個(gè)節(jié)點(diǎn)的地址和端口，redis-trib.rb會(huì)自動(dòng)獲取集群信息。接下來(lái)，redis-trib.rb將會(huì)詢問(wèn)具體如何進(jìn)行重新分片，首先會(huì)詢問(wèn)想要遷移多少個(gè)插槽：

How many slots do you want to move (from 1 to 16384)?

我們只需要遷移一個(gè)，所以輸入1后回車。接下來(lái)redis-trib.rb會(huì)詢問(wèn)要把插槽遷移到哪個(gè)節(jié)點(diǎn)：

What is the receiving node ID?

可以通過(guò) CLUSTER NODES命令獲取6381的運(yùn)行ID，這里是 b547d05c9d0e188993befec 4ae5ccb430343fb4b，輸入并回車。接著最后一步是詢問(wèn)從哪個(gè)節(jié)點(diǎn)移出插槽：

Please enter all the source node IDs. Type 'all' to use all the nodes as source nodes for the hash slots. Type 'done' once you entered all the source nodes IDs. Source node #1:all

我們輸入6380對(duì)應(yīng)的運(yùn)行ID按回車然后輸入done再按回車確認(rèn)即可。

接下來(lái)輸入 yes來(lái)確認(rèn)重新分片方案，重新分片即告成功。

如何不借助redis-trib.rb手工進(jìn)行重新分片呢？

使用如下命令即可：

?CLUSTER SETSLOT 插槽號(hào) NODE 新節(jié)點(diǎn)的運(yùn)行 ID

然而這樣遷移插槽的前提是插槽中并沒(méi)有任何鍵，因?yàn)槭褂?CLUSTER SETSLOT命令遷移插槽時(shí)并不會(huì)連同相應(yīng)的鍵一起遷移，這就造成了客戶端在指定節(jié)點(diǎn)無(wú)法找到未遷移的鍵，造成這些鍵對(duì)客戶端來(lái)說(shuō)“丟失了”

手工獲取某個(gè)插槽存在哪些鍵的方法是：

?CLUSTER GETKEYSINSLOT 插槽號(hào)要返回的鍵的數(shù)量

之后對(duì)每個(gè)鍵，使用MIGRATE命令將其遷移到目標(biāo)節(jié)點(diǎn)：?

MIGRATE 目標(biāo)節(jié)點(diǎn)地址目標(biāo)節(jié)點(diǎn)端口鍵名數(shù)據(jù)庫(kù)號(hào)碼超時(shí)時(shí)間 [COPY] [REPLACE]?

其中COPY選項(xiàng)表示不將鍵從當(dāng)前數(shù)據(jù)庫(kù)中刪除，而是復(fù)制一份副本。

REPLACE表示如果目標(biāo)節(jié)點(diǎn)存在同名鍵，則覆蓋。

因?yàn)榧耗Ｊ街荒苁褂?號(hào)數(shù)據(jù)庫(kù)，所以數(shù)據(jù)庫(kù)號(hào)碼始終為0。

如要把鍵abc從當(dāng)前節(jié)點(diǎn)（如6381）遷移到6380：

redis 6381> MIGRATE 127.0.0.1 6380 abc 0 15999 REPLACE

Redis提供了如下兩個(gè)命令用來(lái)實(shí)現(xiàn)在集群不下線的情況下遷移數(shù)據(jù)：?

CLUSTER SETSLOT 插槽號(hào) MIGRATING 新節(jié)點(diǎn)的運(yùn)行 ID

CLUSTER SETSLOT 插槽號(hào) IMPORTING 原節(jié)點(diǎn)的運(yùn)行 ID

進(jìn)行遷移時(shí)，假設(shè)要把0號(hào)插槽從A遷移到B，此時(shí)redis-trib.rb會(huì)依次執(zhí)行如下操作

（1）在B執(zhí)行 CLUSTER SETSLOT 0 IMPORTING A。

?（2）在A 執(zhí)行 CLUSTER SETSLOT 0 MIGRATING B。?

（3）執(zhí)行 CLUSTER GETKEYSINSLOT 0獲取0號(hào)插槽的鍵列表。?

（4）對(duì)第3步獲取的每個(gè)鍵執(zhí)行MIGRATE命令，將其從A遷移到B。 （5）執(zhí)行 CLUSTER SETSLOT 0 NODE B來(lái)完成遷移。

從上面的步驟來(lái)看 redis-trib.rb多了 1和 2兩個(gè)步驟，這兩個(gè)步驟就是為了解決遷移過(guò)程中鍵的臨時(shí)“丟失”問(wèn)題。首先執(zhí)行完前兩步后，當(dāng)客戶端向 A 請(qǐng)求插槽 0 中的鍵時(shí)，如果鍵存在（即尚未被遷移），則正常處理，如果不存在，則返回一個(gè) ASK跳轉(zhuǎn)請(qǐng)求，告訴客戶端這個(gè)鍵在 B里，如圖 8-6所示?？蛻舳私邮盏?ASK跳轉(zhuǎn)請(qǐng)求后，首先向 B發(fā)送 ASKING命令，然后再重新發(fā)送之前的命令。相反，當(dāng)客戶端向 B請(qǐng)求插槽 0 中的鍵時(shí)，如果前面執(zhí)行了 ASKING 命令，則返回鍵值內(nèi)容，否則返回 MOVED跳轉(zhuǎn)請(qǐng)求（會(huì)在8.3.4節(jié)介紹），如圖8-7所示。這樣一來(lái)客戶端只有能夠處理ASK跳轉(zhuǎn)，則可以在數(shù)據(jù)庫(kù)遷移時(shí)自動(dòng)從正確的節(jié)點(diǎn)獲取到相應(yīng)的鍵值，避免了鍵在遷移過(guò)程中臨時(shí)“丟失”的問(wèn)題。

獲取與插槽對(duì)應(yīng)的節(jié)點(diǎn)

當(dāng)客戶端向集群中的任意一個(gè)節(jié)點(diǎn)發(fā)送命令后，該節(jié)點(diǎn)會(huì)判斷相應(yīng)的鍵是否在當(dāng)前節(jié)點(diǎn)中，如果鍵在該節(jié)點(diǎn)中，則會(huì)像單機(jī)實(shí)例一樣正常處理該命令；如果鍵不在該節(jié)點(diǎn)中，就會(huì)返回一個(gè) MOVE 重定向請(qǐng)求，告訴客戶端這個(gè)鍵目前由哪個(gè)節(jié)點(diǎn)負(fù)責(zé)，然后客戶端再將同樣的請(qǐng)求向目標(biāo)節(jié)點(diǎn)重新發(fā)送一次以獲得結(jié)果。

鍵foo實(shí)際應(yīng)該由6382節(jié)點(diǎn)負(fù)責(zé)，如果嘗試在6380節(jié)點(diǎn)執(zhí)行與鍵foo相關(guān)的命令，就會(huì)有如下輸出：

redis 6380> SET foo bar?

(error) MOVED 12182 127.0.0.1:6382

返回的是一個(gè)MOVE重定向請(qǐng)求，12182表示foo所屬的插槽號(hào)，127.0.0.1:6382則是負(fù)責(zé)該插槽的節(jié)點(diǎn)地址和端口，客戶端收到重定向請(qǐng)求后，應(yīng)該將命令重新向 6382節(jié)點(diǎn)發(fā)送一次：

redis 6382> SET foo bar OK

Redis命令行客戶端提供了集群模式來(lái)支持自動(dòng)重定向，使用-c參數(shù)來(lái)啟用：

$ redis-cli -c -p 6380 reds 6380> SET foo bar -> Redirected to slot [12182] located at 127.0.0.1:6382 OK

可見(jiàn)加入了-c參數(shù)后，如果當(dāng)前節(jié)點(diǎn)并不負(fù)責(zé)要處理的鍵，Redis命令行客戶端會(huì)進(jìn)行自動(dòng)命令重定向。而這一過(guò)程正是每個(gè)支持集群的客戶端應(yīng)該實(shí)現(xiàn)的。

然而相比單機(jī)實(shí)例，集群的命令重定向也增加了命令的請(qǐng)求次數(shù)，原先只需要執(zhí)行一次的命令現(xiàn)在有可能需要依次發(fā)向兩個(gè)節(jié)點(diǎn)，算上往返時(shí)延，可以說(shuō)請(qǐng)求重定向?qū)π阅艿倪€是有些影響的。 為了解決這一問(wèn)題，當(dāng)發(fā)現(xiàn)新的重定向請(qǐng)求時(shí)，客戶端應(yīng)該在重新向正確節(jié)點(diǎn)發(fā)送命令的同時(shí)，緩存插槽的路由信息，即記錄下當(dāng)前插槽是由哪個(gè)節(jié)點(diǎn)負(fù)責(zé)的。這樣每次發(fā)起命令時(shí)，客戶端首先計(jì)算相關(guān)鍵是屬于哪個(gè)插槽的，然后根據(jù)緩存的路由判斷插槽由哪個(gè)節(jié)點(diǎn)負(fù)責(zé)。考慮到插槽總數(shù)相對(duì)較少（16384個(gè)），緩存所有插槽的路由信息后，每次命令將均只發(fā)向正確的節(jié)點(diǎn)，從而達(dá)到和單機(jī)實(shí)例同樣的性能。

故障恢復(fù)

在一個(gè)集群中，每個(gè)節(jié)點(diǎn)都會(huì)定期向其他節(jié)點(diǎn)發(fā)送 PING 命令，并通過(guò)有沒(méi)有收到回復(fù)來(lái)判斷目標(biāo)節(jié)點(diǎn)是否已經(jīng)下線了。具體來(lái)說(shuō)，集群中的每個(gè)節(jié)點(diǎn)每隔1秒鐘就會(huì)隨機(jī)選擇5個(gè)節(jié)點(diǎn)，然后選擇其中最久沒(méi)有響應(yīng)的節(jié)點(diǎn)發(fā)送PING命令。

?如果一定時(shí)間內(nèi)目標(biāo)節(jié)點(diǎn)沒(méi)有響應(yīng)回復(fù)，則發(fā)起 PING 命令的節(jié)點(diǎn)會(huì)認(rèn)為目標(biāo)節(jié)點(diǎn)疑似下線（PFAIL）。疑似下線可以與哨兵的主觀下線類比，兩者都表示某一節(jié)點(diǎn)從自身的角度認(rèn)為目標(biāo)節(jié)點(diǎn)是下線的狀態(tài)。與哨兵的模式類似，如果要使在整個(gè)集群中的所有節(jié)點(diǎn)都認(rèn)為某一節(jié)點(diǎn)已經(jīng)下線，需要一定數(shù)量的節(jié)點(diǎn)都認(rèn)為該節(jié)點(diǎn)疑似下線才可以，這一過(guò)程具體為：?

（1）一旦節(jié)點(diǎn)A認(rèn)為節(jié)點(diǎn)B是疑似下線狀態(tài)，就會(huì)在集群中傳播該消息，所有其他節(jié)點(diǎn)收到消息后都會(huì)記錄下這一信息；?

（2）當(dāng)集群中的某一節(jié)點(diǎn)C收集到半數(shù)以上的節(jié)點(diǎn)認(rèn)為B是疑似下線的狀態(tài)時(shí)，就會(huì)將B標(biāo)記為下線（FAIL），并且向集群中的其他節(jié)點(diǎn)傳播該消息，從而使得B在整個(gè)集群中下線。?

<p style="clear:both;font-family:'Helvetica Neue', Hel