聊聊数据(一):ACID

ACID 是在数据库在插入或更新数据过程中,为了保证事务,所要遵守的原则。ACID 的四个字母分别代表着: A(Atomicity 原子性) C(Consistency 一致性) I(Isolation 隔离性) D(Durability 持久性) 原子性 一个事务中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。事务在执行过程中发生错误,会被回滚(Rollback) »

学习 Cassandra(八):分区

Cassandra 横向扩展(Scale Out),即通过增加集群中节点数量来获得水平扩展的能力,依赖于分区将数据进行切分并分配到各个节点中去。 目前,主要的分区方式有两种:范围分区(Range Partition)和哈希分区(Hash Partition)。其中,HBase 使用的范围分区,Cassandra 使用的哈希分区。 一致性哈希 Cassandra 采用了一致性哈希(Consistent Hashing)算法,使得存取数据非常得快速和高效。 »

学习 HDFS(六):Trouble Shooting

问题一:HDFS 读超时 堆栈信息: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local= »

学习 HDFS(五):运维

fsck 设置 sticky 位 除了标准权限外,HDFS 还支持三种特殊权限: setuid 值为 4 setgid 值为 2 sticky 值为 1 以上权限是可选的,如果使用,在常规权限的左侧。 设置 sticky 位,意味着目录中的文件只能被文件的所有者和 HDFS 超级用户可以删除。 设置 »

学习 HDFS(四):高可用

架构 HDFS 采用了主从(Master/Slave)架构,就不可避免的要面对单点失效(SPOF,Single Point of Failure)的问题。Hadoop 2.X 之后,提供了对高可用(HA)的支持,架构如下所示: 主备切换 在高可用 HDFS 集群中,存在多个 »