BloomFilter原理,实现及优化 发表于 2016-12-03 | 分类于 后台开发 引言最近在做性能优化相关的事情,其中涉及到了BloomFilter,于是对BloomFilter总结了下,本文组织结构如下: BloomFilter的使用场景 BloomFilter的原理 BloomFilter的实现及优化 BloomFilter的使用场景首先,简单来看下BloomFilter ... 阅读全文 »
Paxos原理(一):Basic Paxos 发表于 2016-11-08 | 分类于 分布式 引言Paxos算法由lamport大师提出,目标是解决分布式环境下数据一致性的问题。Paxos算法自发表以来以晦涩难懂著称,因此,其作者于2001年发表了一篇简化版的论文,Paxos Made Simple。虽然这篇论文比前面的充满公式证明的论文容易理解,但是,如果对于Paxos算法本身要解决的问题 ... 阅读全文 »
golang实现Raft(一):选主 发表于 2016-11-03 | 分类于 分布式 介绍本文为golang实现Raft第一篇,主要描述了如何使用golang实现选主,文中的代码框架来自于MIT 6.824课程,包括rpc框架及测试用例。 Raft选主根据Raft论文,选主模块主要包括三大功能: candidate状态下的选主功能 leader状态下的心跳广播功能 follower ... 阅读全文 »
自己动手写分布式KV存储引擎(三):网络框架中的客户端实现原理 发表于 2016-10-30 | 分类于 分布式 引言自己动手写分布式KV存储引擎系列文章的目标是记录基于LevelDB(RockDB)构建一个分布式KV存储引擎实现过程,此系列文章对应的源码在DSTORE。 本文主要分析了网络框架中客户端的实现原理,全文分为如下两部分 客户端功能需求 客户端实现 本系列的其他文章还包括: 自己动手写分布式K ... 阅读全文 »
自己动手写分布式KV存储引擎(二):网络框架中的定时器原理和实现 发表于 2016-10-16 | 分类于 分布式 引言自己动手写分布式KV存储引擎系列文章的目标是记录基于LevelDB(RockDB)构建一个分布式KV存储引擎实现过程,此系列文章对应的源码在DSTORE。 本文主要分析了网络框架中定时器的原理及实现,全文分为如下两部分 定时器的功能设计 定时器的功能实现 本系列的其他文章还包括: 自己动手 ... 阅读全文 »
raft原理(三):日志合并和客户端交互 发表于 2016-10-09 | 分类于 分布式 Introduction本文收录在paper项目中,papers项目旨在学习和总结分布式系统相关的论文;同时本文也是DSTORE项目的必备知识,DSTORE的目标是自己动手实现一个分布式KV存储引擎。 本文为raft系列文章第三篇,本系列其他文章为 raft原理(一):选举和日志复制 raft原理 ... 阅读全文 »
raft原理(二):安全性和集群成员变更 发表于 2016-10-08 | 分类于 分布式 Introduction本文收录在paper项目中,papers项目旨在学习和总结分布式系统相关的论文;同时本文也是DSTORE项目的必备知识,DSTORE的目标是自己动手实现一个分布式KV存储引擎。 本文为raft系列文章第二篇,本系列其他文章为 raft原理(一):选举和日志复制 raft原理 ... 阅读全文 »
raft原理(一):选主与日志复制 发表于 2016-10-07 | 分类于 分布式 Introduction本文收录在paper项目中,papers项目旨在学习和总结分布式系统相关的论文;同时本文也是DSTORE项目的必备知识,DSTORE的目标是自己动手实现一个分布式KV存储引擎。 本文为raft系列文章第一篇,本系列其他文章为 raft原理(二):安全性和集群成员变更 raf ... 阅读全文 »
自己动手写分布式KV存储引擎(一): 设计和实现网络框架 发表于 2016-09-24 | 分类于 分布式 介绍之前写过一篇博文,描述了本人学习分布式系统的思路(链接)。自己动手写分布式KV存储引擎系列文章的目标是记录基于LevelDB(RockDB)构建一个分布式KV存储引擎实现过程,算是对之前学习思路的实践。初步设想,此系列文章会包含以下主题: 如何设计和实现网络框架 如何设计和实现RPC库 分析L ... 阅读全文 »
gfs原理 发表于 2016-09-11 | 分类于 分布式 1. Introduction本文是读GFS论文的总结,收录在我的github中papers项目,papers项目旨在学习和总结分布式系统相关的论文。 全文主要分为以下几方面: Design Motivation Architecture System Interactions Master Op ... 阅读全文 »