在服务器架构中，集群，负载均衡，分布式有什么区别吗

集群就是很多的服务器来实现一种功能，向mysql，很多的服务器都安装mysql,负载均衡就是用来调节的，比方说有很多的用户都在访问读取数据，可是读取a服务器的mysql多，而读取别的服务器的mysql就少，负载均衡把访问a的用户转给b一部分，防止a由于访问量过大造成宕机什么的。分布式就是有很多把服务器的相同功能分别部署在很多太计算机上，然后每个地方放上几台，这几台负责提供本地的服务，并且和总的服务器连接，保持数据传递。

通俗易懂的回答吧。电脑服务器就相当于一个大仓库储存，我们的电脑手机相当于其中的一件工具。当我们需要拿到什么的时候就去仓库里面去找。并且他担负着转换24小时工作。随时随地的去计算储存，交互、通过网线手机基站。传输数据，当然服务器的种类很多，例如某云分布式服务器有几万个？可以叫数据中心。

一句话，是为了解决非分布式存储系统满足不了的存储瓶颈、性能瓶颈而产生的。
对了非分布式存储系统而言，数据量大、访问量大都会导致IO瓶颈，分布式存储通过把一个完整的数据集分片，存储到不同的节点中，每个节点都能对外提供服务来提高整个存储的存储能力、处理能力、快速响应能力。

分布式tensorflow是由高性能的gRPC框架作为支持的。
这是一个通信框架gRPC(google remote prcedure call)，是一个高性能、跨平台的RPC框架。RPC协议，即远程过程调用协议，是指通过网络从远程计算机程序上请求服务。相当于是对底层协议的封装，解决传输错误，同步的问题

分布式原理：

计算速度提高，设备多

ps：GPU的运算速度比CPU快

怎么进行分布式—分布式的架构

服务器：一个服务其上通常有多个GPU

服务器可分为参数服务器和工作服务器。参数服务器专门负责更新参数，保存参数；工作服务器的主要功能就是进行计算

worker节点（工作服务器）中需要一个主节点来进行会话初始化，创建文件等 *** 作，其他节点等待进行计算。

分布式更新参数的模式

tensorflow中设备命名的规则

api

1、创建一个tftrainClusterSpec，用于对集群中的所有任务进行描述，该描述内容对所有任务应该是相同的

2、创建一个tftrainServer，用于创建一个任务(ps,worker)，并运行相应作业上的计算任务。

创建集群

创建服务

工作节点指定设备运行

流程

注意：tfSession()不支持分布式会话。应使用分布式会话函数

案例：

注意：不知道为什么，在本次计算中出现了计算无法停止的问题。。。

---