发表于   |   分类于   |  
介绍本篇文章主要描述了如何使用golang实现一个单机版的MapReduce程序，想法来自于MIT-6.824课程的一个lab。本文分为以下几个模块： MapReduce基本原理 MapReduce简单使用 MapReduce单机版实现 MapReduce基本原理MapReduce的计算以一组K ...
阅读全文 »

发表于   |   分类于   |  
Introduction本文总结了C++ templates相关的基础知识，包括如下 template definition template argument deduction Template Definition分为function template和class template。 Fu ...
阅读全文 »

发表于   |   分类于   |  
Introductionlibeasy是一个高性能网络编程框架，Oceanbase等阿里的服务端程序采用了libeasy作为网络框架，目前其开源在github TDH项目中。本博客写了一系列文章分析libeasy的实现原理，如下 libev设计与实现 libeasy基础数据结构 libeasy服务 ...
阅读全文 »

发表于   |   分类于   |  
Introduction本文分析libeasy服务端框架实现原理，主要分析libeasy是如何处理以下事件的 libeasy服务端连接建立 libeasy服务端连接关闭 libeasy服务端可读事件 libeasy服务端可写事件 libeasy服务端框架实现原理本节先讨论libeasy的网络和线 ...
阅读全文 »

发表于   |   分类于   |  
1. Introduction本文是读MapReduce论文的总结，收录在我的github中papers项目，papers项目旨在学习和总结分布式系统相关的论文。 Google发现有一些应用的计算模型比较简单，但涉及到大量数据，需要成百上千的机器来处理。如何并行化计算、分布数据和处理故障需要复杂的处 ...
阅读全文 »

发表于   |   分类于   |  
Introduction本文是学习Time, Clocks, and the Ordering of Events in a Distributed System论文的总结，本文总结了提出了通过total ordering events来解决分布式系统的同步问题。 What is a distrib ...
阅读全文 »

发表于   |   分类于   |  
Introductionlibev是一个高性能的事件处理框架，基于reactor模式实现。本文先讨论reactor模式，然后具体地分析libev的设计和实现。 本文组织结构如下： reactor模式 libev设计和实现 参考文献 Reactor由于libev是基于reactor模式实现的事件处 ...
阅读全文 »

发表于   |   分类于   |  
引言在分布式环境中，由于数据量庞大，往往需要对数据做分区，分区有两种：一种是range分区，另一种是hash分区。顾名思义，hash分区是采用hash算法，将数据划分到不同的分区中，采用传统的hash算法能有效地将数据划分到不同的分区，但是，传统的hash算法在机器上下线时，由于hash映射的变化， ...
阅读全文 »