学习 Cassandra(八):分区

Cassandra 横向扩展(Scale Out),即通过增加集群中节点数量来获得水平扩展的能力,依赖于分区将数据进行切分并分配到各个节点中去。

目前,主要的分区方式有两种:范围分区(Range Partition)哈希分区(Hash Partition)。其中,HBase 使用的范围分区,Cassandra 使用的哈希分区。

一致性哈希

Cassandra 采用了一致性哈希(Consistent Hashing)算法,使得存取数据非常得快速和高效。

一致性哈希算法将哈希空间按大小首尾相接形成一个环。每个节点被分配到环上的一到多个区域形成一个 token。

哈希空间使用一个 64 位的整型 ID 来标识每一个分区,范围从 -2^63 到 2^63 - 1。每个节点记录环上前驱 token 和后继 token 的位置,从而形成了一个环:

Token Ring

根据哈希函数 hash(partition key)=token,partitoin key 经过哈希函数计算获得 token,通过 token 映射到节点上的数据。

Cassandra 默认的 Murmur3Partitioner 分区器,使用 murmur3 哈希函数,其有着非常良好的随机分布特性。

虚拟节点

一致性哈希算法存在两个潜在的问题:

  • 节点映射的环的位置是随机的,由此可能导致负载不均衡;
  • 集群存在机器异构性,即存在高配置机器,又存在低配置机器,而一致性哈希算法并不进行区分,由此可能导致低配置机器高负载。

虚拟节点(Virtual Nodes 或者 Vnodes)解除了节点与数据分布函数的耦合。

原来 token 与节点之间是一对一的关系,将 token 拆分对多个更小范围的 token 之后,节点与 token 就是一对多的关系:

Vnodes

参考