【经验分享】MIT6.824 Lab1 GO实现一个MapReduce词频分析器_Golang

【经验分享】 MIT6.824 Lab1 GO实现一个MapReduce词频分析器

因为字节的镜像计划,所以开始学习这门课.lab1前前后后花8天时间

基本思路: 多个woker 请求任务master分配任务woker执行任务回访ACKwoker再次请求任务master分配

贴上我的结构属性,给大家参考.

type Task struct {
	//task kind 1 表示map 2表示reduce 3表示暂停1s  4表示任务全部完成 暂停1s
	Kind int
	//Map fileName kind=1 filename是要解析的文章 
    //Reduce 完成任务时递交task 等待commit的文件名
	FileName string
	//taskId
	Id int32
	//  Map任务生成的中间文件 
    //  reduce任务要解析的文件名
	InterfileList []string
	//  Map 划分成多少个中间文件
	Nreduce int
}

type Coordinator struct {
	// Your definitions here.
	
	MapIndex int32
    // 任务map 1表示没有开始 2表示在执行 3表示已经完成
	TaskMap  map[string]int
	
	MapFlag               bool
    //记录所有的中间文件 1表示没有开始 2表示在执行 3表示已经完成
	IntermediateFileIndex int32
	Intermediatefile      map[string]int
	//生成多少个 中间文件
	Nreduce int
	//超时任务 
	MapOvetTimeMap    map[int32]int32
	ReduceOverTimeMap map[int32]int32
}