etcd 是用go语言实现的一个高可用,强一致性的KV存储系统,而由于作为 Kubernetes 的数据存储和同步的重要组件所以最近很火.
etcd 作为一个存储系统,可用于配置共享和服务发现,它有以下四个特点:
- 简单: 基于 HTTP+JSON 的 API 让你用 curl 命令就可以轻松使用
- 安全: 支持SSL通信认证机制
- 快速: 支持每实例每秒超一千次的写操作
- 稳定: 内部使用一致性共识算法 Raft 实现了分布式
etcd 内部架构
etcd 主要分为四个部分:
- HTTP Server： 用于处理用户发送的API请求以及其它 etcd 节点的同步与心跳信息请求
- Store：用于处理 etcd 支持的各类功能的事务. 包括数据索引,节点状态变更,监控与反馈,事件处理与执行等等, 是 etcd 对用户提供的大多数 API 功能的具体实现
- Raft：Raft 强一致性算法的具体实现, 是 etcd 的核心
- WAL：Write Ahead Log(预写式日志),是etcd的数据存储方式.除了在内存中存有所有数据的状态以及节点的索引以外,etcd 就通过 WAL 进行持久化存储.WAL 中,所有的数据提交前都会事先记录日志.Snapshot是为了防止数据过多而进行的状态快照;Entry表示存储的具体日志内容.
一个请求发送过来, 会经由HTTP Server转发给 Store 进行具体的事务处理,如果涉及到节点的修改,则交给 Raft 模块进行状态的变更,日志的记录,然后再同步给别的 etcd 节点以确认数据提交,最后进行数据的提交,再次同步.
etcd 概念词汇表
- Raft：etcd所采用的保证分布式系统强一致性的算法。
- Node：一个Raft状态机实例。
- Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。
- Cluster：由多个Member构成可以协同工作的etcd集群。
- Peer：对同一个etcd集群中另外一个Member的称呼。
- Client： 向etcd集群发送HTTP请求的客户端。
- WAL：预写式日志，etcd用于持久化存储的日志格式。
- snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。
- Proxy：etcd的一种模式，为etcd集群提供反向代理服务。
- Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。
- Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。
- Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始Leader竞选。
- Term：某个节点成为Leader到下一次竞选开始的时间周期，称为一个Term。
- Index：数据项编号。Raft中通过Term和Index来定位数据。