正如谷歌AI的团队在这篇博文中提到的那样，开发这类算法需要大量的实验而没有任何明确的方向。 不幸的是，大多数现有的框架都没有这种灵活性。 如果你在这个领域工作或研究过，你就知道重现现有方法有多困难（如果不是不可能的话）。
因此，为了帮助加速研究，并希望让社区更多地参与强化学习，Google AI团队开放了一个名为Dopamine的TensorFlow框架，旨在通过使其更灵活和可重复性来创建研究。 根据团队的官方文档，他们的设计原则是：
简单的实验：帮助新用户运行基准实验
灵活的开发：为新用户提供新的创新想法
紧凑和可靠：为一些较旧和更流行的算法提供实现
可重复：确保结果可重复
意识到新人们根据基准检查结果的重要性，研究人员还发布了整个培训数据。 它可用作Python pickle文件，JSON文件和用户可以可视化每个训练迭代的网站。
我们对此有所了解
请注意，DeepMind对多巴胺的研究与Google AI的这项工作无关。 虽然两者都在很大程度上植根于强化学习，但Google AI通过公开采购的方式参与了整个社区。 它肯定有助于它以TensorFlow为基础，这是深度学习社区中每个人都熟悉的框架。
强化学习可能是一个令人生畏的主题，但我鼓励大家尝试一下。 这个领域仍然具有潜力，并将在未来几年取得很大进展。 这是一个很好的入门资源，您也可以参考我们的文章了解初学者。
如果你想更加了解TensorFlow，或者说想实践一下人工智能项目，谷歌的另一款工具或许可以帮到你，也就是谷歌的AIY Projects 项目。
在2017 年上半年，谷歌宣布了一个新的开源计划--AIY Projects（AIY计划），其目标是让每个Maker（创客）都能DIY自己的 AI 人工智能产品，让更多人能学习、探索并体验人工智能。 AIY 全称是 Artificial Intelligence Yourself ，顾名思义就是利用 AI 来进行的 DIY 功能套件。借助 AIY 项目，创客可以利用人工智能来实现更像人与人交流的人机交互。谷歌目前为 AIY Projects 推出了两款硬件产品--AIY Voice Kit 和 AIY Vision Kit。
AIY Vision Kit（视觉套件）是一套简单的计算机视觉系统，可运行 3 种基于 TensorFlow 的类神经网路模型应用程序。
这次 AIY 计划推出两款新品，Edge TPU 是谷歌专用的 ASIC 芯片，专为在 Edge 运行 TensorFlow Lite ML 模型而设计, 用来处理 AI 预测部分。它的特点是比训练模型的计算强度要小。而且 Edge TPU 还可以自己运行计算，不需要与多台强大计算机相连，因此应用程序可以更快、更可靠地工作。它们可以在传感器或网关设备中与标准芯片或微控制器共同处理 AI 工作。 针对Edge TPU的新设备是：AIY Edge TPU Dev 开发板和 AIY Edge TPU 加速，二者皆采用 Google 的 Edge TPU 芯片。
开始使用
TensorFlow并不是一个纯粹的神经网络框架, 而是使用数据流图进行数值分析的框架.
TensorFlow使用有向图(graph)表示一个计算任务.图的节点称为ops(operations)表示对数据的处理,图的边flow 描述数据的流向.
该框架计算过程就是处理tensor组成的流. 这也是TensorFlow名称的来源.
TensorFlow使用tensor表示数据. tensor意为张量即高维数组,在python中使用numpy.ndarray表示.
TensorFlow使用Session执行图, 使用Variable维护状态.tf.constant是只能输出的ops, 常用作数据源.
下面我们构建一个只有两个constant做输入, 然后进行矩阵乘的简单图:
from tensorflow import Session, device, constant, matmul'''构建一个只有两个constant做输入, 然后进行矩阵乘的简单图:'''#如果不使用with session()语句, 需要手动执行session.close().
#with device设备指定了执行计算的设备:
# "/cpu:0": 机器的 CPU.
# "/gpu:0": 机器的第一个 GPU, 如果有的话.
# "/gpu:1": 机器的第二个 GPU, 以此类推.
with Session() as session: # 创建执行图的上下文
with device('/cpu:0'): # 指定运算设备
mat1 = constant([[3, 3]]) # 创建源节点
mat2 = constant([[2], [2]])
product = matmul(mat1, mat2) # 指定节点的前置节点, 创建图
result = session.run(product) # 执行计算 print(result)123456789101112131415161718
下面使用Variable做一个计数器:
from tensorflow import Session, constant, Variable, add, assign, initialize_all_variables
state = Variable(0, name='counter') # 创建计数器one = constant(1) # 创建数据源: 1val = add(state, one) # 创建新值节点update = assign(state, val) # 更新计数器setup = initialize_all_variables() # 初始化Variablewith Session() as session:
session.run(setup) # 执行初始化
print(session.run(state)) # 输出初值
for i in range(3):
session.run(update) # 执行更新
print(session.run(state)) # 输出计数器值12345678910111213
在使用变量前必须运行initialize_all_variables()返回的图, 运行Variable节点将返回变量的值.
本示例中将构建图的过程写在了上下文之外, 而且没有指定运行设备.
上面示例中session.run只接受一个op作为参数, 实际上run可以接受op列表作为输入:
session.run([op1, op2])1
上述示例一直使用constant作为数据源, feed可以在运行时动态地输入数据:
from tensorflow import Session, placeholder, mul, float32
input1 = placeholder(float32)
input2 = placeholder(float32)
output = mul(input1, input2)with Session() as session: print session.run(output, feed_dict={input1: [3], input2: [2]})1234567
实现一个简单神经网络
神经网络是应用广泛的机器学习模型, 关于神经网络的原理可以参见这篇随笔, 或者在tensorflow playground上体验一下在线demo.
首先定义一个BPNeuralNetwork类:
class BPNeuralNetwork:
def __init__(self):
self.session = tf.Session()
self.input_layer = None
self.label_layer = None
self.loss = None
self.trainer = None
self.layers = [] def __del__(self):
self.session.close()1234567891011
编写一个生成单层神经网络函数,每层神经元用一个数据流图表示.使用一个Variable矩阵表示与前置神经元的连接权重, 另一个Variable向量表示偏置值, 并为该层设置一个激励函数.
def make_layer(inputs, in_size, out_size, activate=None):
weights = tf.Variable(tf.random_normal([in_size, out_size]))
basis = tf.Variable(tf.zeros([1, out_size]) + 0.1)
result = tf.matmul(inputs, weights) + basis if activate is None: return result else: return activate(result)12345678
使用placeholder作为输入层.
self.input_layer = tf.placeholder(tf.float32, [None, 2])1
placeholder的第二个参数为张量的形状, [None, 1]表示行数不限, 列数为1的二维数组, 含义与numpy.array.shape相同.这里, self.input_layer被定义为接受二维输入的输入层.
同样使用placeholder表示训练数据的标签:
self.label_layer = tf.placeholder(tf.float32, [None, 1])1
使用make_layer为神经网络定义两个隐含层, 并用最后一层作为输出层:
self.loss = tf.reduce_mean(tf.reduce_sum(tf.square((self.label_layer - self.layers[1])), reduction_indices=[1]))1
tf.train提供了一些优化器, 可以用来训练神经网络.以损失函数最小化为目标:
self.trainer = tf.train.GradientDescentOptimizer(learn_rate).minimize(self.loss)1
使用Session运行神经网络模型:
initer = tf.initialize_all_variables()# do trainingself.session.run(initer)
for i in range(limit):
self.session.run(self.trainer, feed_dict={self.input_layer: cases, self.label_layer: labels})12345
使用训练好的模型进行预测:
self.session.run(self.layers[-1], feed_dict={self.input_layer: case})1
完整代码:
import tensorflow as tfimport numpy as npdef make_layer(inputs, in_size, out_size, activate=None):
weights = tf.Variable(tf.random_normal([in_size, out_size]))
basis = tf.Variable(tf.zeros([1, out_size]) + 0.1)
result = tf.matmul(inputs, weights) + basis if activate is None: return result else: return activate(result)class BPNeuralNetwork:
def __init__(self):
self.session = tf.Session()
self.input_layer = None
self.label_layer = None
self.loss = None
self.optimizer = None
self.layers = [] def __del__(self):
self.session.close() def train(self, cases, labels, limit=100, learn_rate=0.05):
# 构建网络
self.input_layer = tf.placeholder(tf.float32, [None, 2])
self.label_layer = tf.placeholder(tf.float32, [None, 1])
self.layers.append(make_layer(self.input_layer, 2, 10, activate=tf.nn.relu))
self.layers.append(make_layer(self.layers[0], 10, 2, activate=None))
self.loss = tf.reduce_mean(tf.reduce_sum(tf.square((self.label_layer - self.layers[1])), reduction_indices=[1]))
self.optimizer = tf.train.GradientDescentOptimizer(learn_rate).minimize(self.loss)
initer = tf.initialize_all_variables() # 做训练
self.session.run(initer) for i in range(limit):
self.session.run(self.optimizer, feed_dict={self.input_layer: cases, self.label_layer: labels}) def predict(self, case):
return self.session.run(self.layers[-1], feed_dict={self.input_layer: case}) def test(self):
x_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y_data = np.array([[0, 1, 1, 0]]).transpose()
test_data = np.array([[0, 1]])
self.train(x_data, y_data)
print(self.predict(test_data))
nn = BPNeuralNetwork()
nn.test()12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152
上述模型虽然简单但是使用不灵活, 作者采用同样的思想实现了一个可以自定义输入输出维数以及多层隐含神经元的网络, 可以参见dynamic_bpnn.py
import tensorflow as tfimport numpy as npdef make_layer(inputs, in_size, out_size, activate=None):
weights = tf.Variable(tf.random_normal([in_size, out_size]))
basis = tf.Variable(tf.zeros([1, out_size]) + 0.1)
result = tf.matmul(inputs, weights) + basis if activate is None: return result else: return activate(result)class BPNeuralNetwork:
def __init__(self):
self.session = tf.Session()
self.loss = None
self.optimizer = None
self.input_n = 0
self.hidden_n = 0
self.hidden_size = []
self.output_n = 0
self.input_layer = None
self.hidden_layers = []
self.output_layer = None
self.label_layer = None
def __del__(self):
self.session.close() def setup(self, ni, nh, no):
# 设置参数个数
self.input_n = ni
self.hidden_n = len(nh) #隐藏层的数量
self.hidden_size = nh #每个隐藏层中的单元格数
self.output_n = no #构建输入层
self.input_layer = tf.placeholder(tf.float32, [None, self.input_n]) #构建标签层
self.label_layer = tf.placeholder(tf.float32, [None, self.output_n]) #构建隐藏层
in_size = self.input_n
out_size = self.hidden_size[0]
inputs = self.input_layer
self.hidden_layers.append(make_layer(inputs, in_size, out_size, activate=tf.nn.relu)) for i in range(self.hidden_n-1):
in_size = out_size
out_size = self.hidden_size[i+1]
inputs = self.hidden_layers[-1]
self.hidden_layers.append(make_layer(inputs, in_size, out_size, activate=tf.nn.relu)) #构建输出层
self.output_layer = make_layer(self.hidden_layers[-1], self.hidden_size[-1], self.output_n) def train(self, cases, labels, limit=100, learn_rate=0.05):
self.loss = tf.reduce_mean(tf.reduce_sum(tf.square((self.label_layer - self.output_layer)), reduction_indices=[1]))
self.optimizer = tf.train.GradientDescentOptimizer(learn_rate).minimize(self.loss)
initer = tf.initialize_all_variables() #做训练
self.session.run(initer) for i in range(limit):
self.session.run(self.optimizer, feed_dict={self.input_layer: cases, self.label_layer: labels}) def predict(self, case):
return self.session.run(self.output_layer, feed_dict={self.input_layer: case}) def test(self):
x_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y_data = np.array([[0, 1, 1, 0]]).transpose()
test_data = np.array([[0, 1]])
self.setup(2, [10, 5], 1)
self.train(x_data, y_data)
print(self.predict(test_data))
nn = BPNeuralNetwork()
nn.test()12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576
简介
如何将机器学习(ML)模型部署上线至生产环境已成为经常性的热门话题。为此许多公司和框架提出了各种不同的解决方案。
为解决这一问题，谷歌发布了TensorFlow (TF) Serving，希望能解决ML模型部署到生产的一系列问题。
本文将给出一篇动手教程，上线部署一个预训练的卷积语义分割网络。文中会讲解如何用TF Serving部署和调用基于TensorFlow的深度CNN模型。另外，我会概述TF Serving的主要组件，并讨论其API及其工作机制。
本文基于我们在Daitan Group做的一些工作。
TensorFlow Serving Libraries — 概述
我们首先花点时间了解TF Serving是如何为ML模型提供全生命周期服务的。在这里将会从宏观层面讲一下TF Serving的主要组件，为TF Serving API做一个大致的介绍。如需进一步了解，请参考TF Serving文档：https://www.tensorflow.org/serving/
TensorFlow Serving可抽象为一些组件构成，每个组件实现了不同的API任务，其中最重要的是Servable, Loader, Source, 和 Manager，我们看一下组件之间是如何交互的。
简单来说，当TF Serving发现磁盘上的模型文件，该模型服务的生命周期就开始了。Source组件负责发现模型文件，找出需要加载的新模型。实际上，该组件监控文件系统，当发现一个新的模型版本，就为该模型创建一个Loader。
总之，Loader需要知道模型的相关信息，包括如何加载模型如何估算模型需要的资源，包括需要请求的RAM、GPU内存。Loader带一个指针，连接到磁盘上存储的模型，其中包含加载模型需要的相关元数据。不过记住，Loader现在还不允许加载模型。
Loader创建完成后，Source组件将其发送至Manager，作为一个待加载的版本。
Manager收到待加载模型版本，开始模型服务流程。此处有两种可能性，第一种情况是模型首次推送部署，Manager先确保模型需要的资源可用，一旦获取相应的资源，Manager赋予Loader权限去加载模型。
第二种情况是为已上线模型部署一个新版本。Manager会先查询Version Policy插件，决定加载新模型的流程如何进行。
具体来说，当加载新模型时，可选择保持 (1) 可用性 或 (2) 资源。如果选(1)可用性，意味着我们倾向于确保系统对客户请求总能相应。Manager让Loader实例化新的计算图和新的权重。
此时模型的两个版本被都被加载，也就是说Manager先加载新版本模型确保其可以安全服务后，然后再卸载原版本模型。
如果选(2)资源，如果我们希望节省资源不为新版本模型申请额外的资源，可选择保持资源。对于重量级模型也许挺有用，模型切换间会有极短的可用性缺口，不过可以换取内存不足。
最后，当用户请求模型的句柄，Manager返回句柄给Servable。
前面是概述，接下来开始进入一个真实的应用。下一节，将描述如何用TF Serving为一个Convolutional Neural Network (CNN)模型建立服务。
为TF Serving导出模型
将TensorFlow构建的模型用作服务，首先需要确保导出为正确的格式，可以采用TensorFlow提供的SavedModel类。
SavedModel是TensorFlow模型的一种通用序列化格式。如果你熟悉TF，你会使用 TensorFlow Saver to persist保存模型变量。
TensorFlow Saver提供模型checkpoint磁盘文件的保存/恢复。事实上SavedModel封装了TensorFlow Saver，对于模型服务是一种标准的导出方法。
SavedModel对象有一些不错的特性。
首先，一个SavedModel对象中可存储一个或更多的meta-graph，换句话说，这个特性允许我们为不同的任务订制不同的计算图。
例如模型训练完成后，大多数情况下使用推理模式时，计算图中不需要一些用于训练的特殊 *** 作，包括优化器、学习率调度变量、额外的预处理 *** 作等等。
另外，有时候可能需要将计算图简化作移动端部署。
在这些场景下SavedModel允许用户以不同的配置保存计算图。本例中文件中会有三个不同的计算图，分别标签为“training”, “inference”和“mobile”。这三个计算图共享同一组变量—— 意味着内存使用效率更高。
不久以前，在移动设备上部署TF模型，需要为模型指定输入输出张量的名称。这个需求逼着程序员在整张计算图中寻找相应的张量。这种情况下，如果之前在计算图中变量未正确命名，这个过程就变得很繁琐了。
SavedModel提供了SignatureDefs，简化了这一过程。SignatureDefs定义了一组TensorFlow支持的计算签名，便于在计算图中找到适合的输入输出张量。简单的说，使用这些计算签名，可以准确指定特定的输入输出节点。
TF Serving要求模型中包含一个或多个SignatureDefs，以使用内建服务API。
开始建立签名。我们需要为签名定义指定输入输出和方法名这些参数。这里输入输出表示一个从字符串到TensorInfo对象的映射(后面会详细介绍)，定义了计算图中默认接收和输出的张量。方法名 参数指向一个TF高级服务API。
目前有3个服务API: 分类、预测和回归。每个签名定义关联一个RPC API。分类SignatureDef用于分类RPC API，预测SignatureDef用于RPC API等等。
对于分类SignatureDef，需要一个输入张量(接收数据)以及可能的输出张量: 类别和/或得分。回归SignatureDef需要一个输入张量以及另一个输出张量。最后预测SignatureDef需要一个可变长度的输入输出张量。
此外，SavedModel支持在 *** 作初始化依赖于外部文件的情况下存储资产。也包括在构建SavedModel之前清空设备。
我们看一下在实践中如何处理。
环境设置
开始前请先从github上cloneDeepLab-v3的实现。
DeepLab是谷歌最佳的语义分割卷积网络，该网络获取输入的图片，然后输出一张带有遮挡的图片，将特定对象与背景分割开。
该版本基于Pascal VOC分割数据集训练，可分割20类数据。如果你希望进一步了解语义分割和DeepLab-v3，可以看一下Diving into Deep Convolutional Semantic Segmentation Networks和Deeplab_V3。
构建服务的文件保存在 ./deeplab_v3/serving/ 目录里，其中有两个文件: deeplab_saved_model.py和 deeplab_client.ipynb。
在进行下一步之前，需先下载Deeplab-v3预训练模型。在GitHub库说明里有链接，点击checkpoints，下载16645/目录。
完成后，最终会有一个命名为 tboard_logs/ 目录，其中保存着下载的 16645/ 目录
然后我们建立2个Python虚拟环境，一个Python 3版本、一个Python 2版本环境，环境中安装相关的依赖包，依赖包信息可参考serving_requirements.txt 和 client_requirements.txt。
DeepLab-v3模型是在Python 3环境下开发的，但TensorFlow Serving Python API只发布了Python 2的版本，因此我们需要2个不同的Python环境。那么用Python 3环境导出并运行TF Serving。TF Serving API用于运行客户端代码，需要PIP安装(只支持Python 2环境)。
注如果从bazel运行Serving API，无需Python 2环境也可以运行。可参考TF Serving Installation。
完成这步后，开始真正的模型部署。
How to do it
TensorFlow提供了一个简单易用的高级工具类SavedModelBuilder，该类提供保存多组 meta graph、相关变量和资产等功能。
我们看一下如何导出Deep Segmentation CNN模型用作服务。
之前说过导出模型要用到SavedModelBuilder类，该类建立SavedModel的ProtoBuf文件，其中包含模型的变量和资产 (如果需要的话)。
剖析一下代码.
SavedModelBuilder以输入方式接收模型数据存储的目录。这里export_path 变量是由export_path_base变量和model_version变量连接而成。也就是说不同版本的模型将保存在export_path_base目录之下各版本对应的目录中。
例如在生产环境下已部署了一个基线版本的模型，现在需要升级至一个新版本。新版本的模型提高了准确率，需要及时向客户提供该版本。
为了导出同一个计算图的不同版本，需将FLAGS.model_version 设置为一个更大的整数。然后在export_path_base 目录下建一个新的目录(放新版本模型文件) 。
用SignatureDefs指定模型的输入输出张量。签名了模型导出的类型，签名提供了从字符(张量的逻辑名)到TensorInfo 对象的映射。意思是，与其引用实际的输入输出张量名称，客户可以通过签名定义的逻辑名来引用张量。
对于构建Semantic Segmentation CNN服务，需要调用build_signature_def() 函数建一个PredictSignature，此处需传入输入输出名对应的张量以及需要的API。
写一个SignatureDef需要指定:输入, 输出 和方法名。 注意模型期望获得3个值作为输入输入 —— 分别是图像和两个额外的维度张量(高度和宽度)。输出只需要定义一个结果——图像分割结果遮挡。
注意到字符串 ‘image’, ‘height’, ‘width’ 和 ‘segmentation_map’ 不是张量，而是指向实际张量 input_tensor, image_height_tensor 和 image_width_tensor的逻辑名。因此这些名称可以是任何全局唯一的名称。
此外SignatureDef中的映射与TensorInfo protobuf形式的对象关联，而不是实际的张量。可以使用以下功能函数: tf.saved_model.utils.build_tensor_info(tensor)，构建TensorInfo对象。
此后调用 add_meta_graph_and_variables() 函数，构建SavedModel的protobuf对象。执行save() 方法，将模型的快照保存到包含模型变量和资产的磁盘上。
接下来运行deeplab_saved_model.py 保存模型。
如果一切正常，就可以看到./serving/versions/1 目录了，此处 ‘1’ 代表当前模型版本，此目录包含一些子目录和文件，其结构如下:
saved_model.pb 或 saved_model.pbtxt。SavedModel的序列化文件，存储一个或多个计算图定义以及签名定义信息。
Variables，目录中包含序列化后的计算图对应的变量
现在可以启动模型服务了，执行以下命令:
model_base_path 指的是导出模型存储的位置，其中不需要指定版本，其版本控制由TF Serving控制。
生成客户端请求
客户端代码相当简单，可参考这个笔记本: deeplab_client.ipynb.
首先读取将要发送给服务器的图片，将其处理转换成适当的格式。
然后，建立一个gRPC stub，用以调用远程服务器上的方法。需要实例化prediction_service_pb2 模块中的beta_create_PredictionService_stub类。 这样stub就得到了远程调用所必须的逻辑，这一切就好像在本地执行一样。
此后，创建并设置请求对象。由于服务器实现TensorFlow预测API，需要解析预测请求。发送预测请求，首先需要从predict_pb2模块实例化一个PredictRequest类，还需要指定model_spec.name 以及 model_spec.signature_name 两个参数。这里name参数就是启动服务时候传入的 ‘model_name’ 参数，signature_name 指的是调用 add_meta_graph()时传入的 signature_def_map中的逻辑名。
然后，需要以预先定义的签名形式给服务器输入数据。记得么，在服务端之前定义的预测API，期望获得图像以及两个标量(图像的高度和宽度)。TensorFlow提供tf.make_tensor_proto()函数，用于装载输入数据到请求对象，该方法可从numpy或python对象处创建TensorProto对象。好了我们就用该方法构建请求对象，并填入图像和相关维度信息。
看起来，现在我们已经准备好，可以调用服务器了。执行stub中Predict()方法传入请求对象作为参数。
对于那些返回单一结果的请求，gRPC支持: 同步和异步两种调用。一般使用Predict()，如果希望请求被服务端处理时，本地仍然能处理一些工作，可以调用Predict.future() 。
好了，现在我们可以获取并查看结果
参考文章：https://zhuanlan.zhihu.com/p/60685482
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）