搭建深度学习后台服务器
我们的Keras深度学习REST API将能够批量处理图像，扩展到多台机器(包括多台web服务器和Redis实例)，并在负载均衡器之后进行循环调度。
为此，我们将使用:
KerasRedis(内存数据结构存储)
Flask (Python的微web框架)
消息队列和消息代理编程范例
本篇文章的整体思路如下：
我们将首先简要讨论Redis数据存储，以及如何使用它促进消息队列和消息代理。然后，我们将通过安装所需的Python包来配置Python开发环境，以构建我们的Keras深度学习REST API。一旦配置了开发环境，就可以使用Flask web框架实现实际的Keras深度学习REST API。在实现之后，我们将启动Redis和Flask服务器，然后使用cURL和Python向我们的深度学习API端点提交推理请求。最后，我们将以对构建自己的深度学习REST API时应该牢记的注意事项的简短讨论结束。
第一部分：简要介绍Redis如何作为REST API消息代理/消息队列
1：Redis可以用作我们深度学习REST API的消息代理/消息队列
Redis是内存中的数据存储。它不同于简单的键/值存储(比如memcached)，因为它可以存储实际的数据结构。今天我们将使用Redis作为消息代理/消息队列。这包括:
在我们的机器上运行Redis
将数据(图像)按照队列的方式用Redis存储，并依次由我们的REST API处理
为新批输入图像循环访问Redis
对图像进行分类并将结果返回给客户端
文章中对Redis官网有一个超链接（>
第二部分：安装和配置Redis
官网做法，linux系统的安装：
自己的安装方法：
conda install redis开启方式相同：
resdis-server结果：
测试和原文的命令一致。
第三部分：配置Python开发环境以构建Keras REST API
文章中说需要创建新的虚拟环境来防止影响系统级别的python项目（但是我没有创建），但是还是需要安装rest api所需要依赖的包。以下为所需要的包。
第四部分：实现可扩展的Keras REST API
首先是Keras Redis Flask REST API数据流程图
让我们开始构建我们的服务器脚本。为了方便起见，我在一个文件中实现了服务器，但是它可以按照您认为合适的方式模块化。为了获得最好的结果和避免复制/粘贴错误，我建议您使用本文的“下载”部分来获取相关的脚本和图像。
为了简单起见，我们将在ImageNet数据集上使用ResNet预训练。我将指出在哪里可以用你自己的模型交换ResNet。flask模块包含flask库(用于构建web API)。redis模块将使我们能够与redis数据存储接口。从这里开始，让我们初始化将在run_keras_serverpy中使用的常量
我们将向服务器传递float32图像，尺寸为224 x 224，包含3个通道。我们的服务器可以处理一个BATCH_SIZE = 32。如果您的生产系统上有GPU(s)，那么您需要调优BATCH_SIZE以获得最佳性能。我发现将SERVER_SLEEP和CLIENT_SLEEP设置为025秒(服务器和客户端在再次轮询Redis之前分别暂停的时间)在大多数系统上都可以很好地工作。如果您正在构建一个生产系统，那么一定要调整这些常量。
让我们启动我们的Flask app和Redis服务器:
在这里你可以看到启动Flask是多么容易。在运行这个服务器脚本之前，我假设Redis服务器正在运行(之前的redis-server)。我们的Python脚本连接到本地主机6379端口(Redis的默认主机和端口值)上的Redis存储。不要忘记将全局Keras模型初始化为None。接下来我们来处理图像的序列化:
Redis将充当服务器上的临时数据存储。图像将通过诸如cURL、Python脚本甚至是移动应用程序等各种方法进入服务器，而且，图像只能每隔一段时间(几个小时或几天)或者以很高的速率(每秒几次)进入服务器。我们需要把图像放在某个地方，因为它们在被处理前排队。我们的Redis存储将作为临时存储。
为了将图像存储在Redis中，需要对它们进行序列化。由于图像只是数字数组，我们可以使用base64编码来序列化图像。使用base64编码还有一个额外的好处，即允许我们使用JSON存储图像的附加属性。
base64_encode_image函数处理序列化。类似地，在通过模型传递图像之前，我们需要反序列化图像。这由base64_decode_image函数处理。
预处理
我已经定义了一个prepare_image函数，它使用Keras中的ResNet50实现对输入图像进行预处理，以便进行分类。在使用您自己的模型时，我建议修改此函数，以执行所需的预处理、缩放或规范化。
从那里我们将定义我们的分类方法
classify_process函数将在它自己的线程中启动，我们将在下面的__main__中看到这一点。该函数将从Redis服务器轮询图像批次，对图像进行分类，并将结果返回给客户端。
在model = ResNet50(weights="imagenet")这一行中，我将这个 *** 作与终端打印消息连接起来——根据Keras模型的大小，加载是即时的，或者需要几秒钟。
加载模型只在启动这个线程时发生一次——如果每次我们想要处理一个映像时都必须加载模型，那么速度会非常慢，而且由于内存耗尽可能导致服务器崩溃。
加载模型后，这个线程将不断轮询新的图像，然后将它们分类（注意这部分代码应该时尚一部分的继续）
在这里，我们首先使用Redis数据库的lrange函数从队列(第79行)中获取最多的BATCH_SIZE图像。
从那里我们初始化imageIDs和批处理(第80和81行)，并开始在第84行开始循环队列。
在循环中，我们首先解码对象并将其反序列化为一个NumPy数组image(第86-88行)。
接下来，在第90-96行中，我们将向批处理添加图像(或者如果批处理当前为None，我们将该批处理设置为当前图像)。
我们还将图像的id附加到imageIDs(第99行)。
让我们完成循环和函数
在这个代码块中，我们检查批处理中是否有图像(第102行)。如果我们有一批图像，我们通过模型(第105行)对整个批进行预测。从那里，我们循环一个图像和相应的预测结果(110-122行)。这些行向输出列表追加标签和概率，然后使用imageID将输出存储在Redis数据库中(第116-122行)。
我们使用第125行上的ltrim从队列中删除了刚刚分类的图像集。最后，我们将睡眠设置为SERVER_SLEEP时间并等待下一批图像进行分类。下面我们来处理/predict我们的REST API端点
稍后您将看到，当我们发布到REST API时，我们将使用/predict端点。当然，我们的服务器可能有多个端点。我们使用@app。路由修饰符以第130行所示的格式在函数上方定义端点，以便Flask知道调用什么函数。我们可以很容易地得到另一个使用AlexNet而不是ResNet的端点，我们可以用类似的方式定义具有关联函数的端点。你懂的，但就我们今天的目的而言，我们只有一个端点叫做/predict。
我们在第131行定义的predict方法将处理对服务器的POST请求。这个函数的目标是构建JSON数据，并将其发送回客户机。如果POST数据包含图像(第137和138行)，我们将图像转换为PIL/Pillow格式，并对其进行预处理(第141-143行)。
在开发这个脚本时，我花了大量时间调试我的序列化和反序列化函数，结果发现我需要第147行将数组转换为C-contiguous排序(您可以在这里了解更多)。老实说，这是一个相当大的麻烦事，但我希望它能帮助你站起来，快速跑。
如果您想知道在第99行中提到的id，那么实际上是使用uuid(通用唯一标识符)在第151行生成的。我们使用UUID来防止hash/key冲突。
接下来，我们将图像的id和base64编码附加到d字典中。使用rpush(第153行)将这个JSON数据推送到Redis db非常简单。
让我们轮询服务器以返回预测
我们将持续循环，直到模型服务器返回输出预测。我们开始一个无限循环，试图得到157-159条预测线。从这里，如果输出包含预测，我们将对结果进行反序列化，并将结果添加到将返回给客户机的数据中。我们还从db中删除了结果(因为我们已经从数据库中提取了结果，不再需要将它们存储在数据库中)，并跳出了循环(第163-172行)。
否则，我们没有任何预测，我们需要睡觉，继续投票(第176行)。如果我们到达第179行，我们已经成功地得到了我们的预测。在本例中，我们向客户机数据添加True的成功值(第179行)。注意:对于这个示例脚本，我没有在上面的循环中添加超时逻辑，这在理想情况下会为数据添加一个False的成功值。我将由您来处理和实现。最后我们称烧瓶。jsonify对数据，并将其返回给客户端(第182行)。这就完成了我们的预测函数。
为了演示我们的Keras REST API，我们需要一个__main__函数来实际启动服务器
第186-196行定义了__main__函数，它将启动classify_process线程(第190-192行)并运行Flask应用程序(第196行)。
第五部分：启动可伸缩的Keras REST API
要测试我们的Keras深度学习REST API，请确保使用本文的“下载”部分下载源代码示例图像。从这里，让我们启动Redis服务器，如果它还没有运行:
redis-server然后，在另一个终端中，让我们启动REST API Flask服务器:
python run_keras_serverpy另外，我建议在向服务器提交请求之前，等待您的模型完全加载到内存中。现在我们可以继续使用cURL和Python测试服务器。
第七部分：使用cURL访问Keras REST API
使用cURL来测试我们的Keras REST API服务器。这是我的家庭小猎犬Jemma。根据我们的ResNet模型，她被归类为一只拥有946%自信的小猎犬。
curl -X POST -F image=@jemmapng ''你会在你的终端收到JSON格式的预测:
{"predictions": [{"label": "beagle","probability": 09461546540260315},{"label": "bluetick","probability": 0031958919018507004},{"label": "redbone","probability": 0006617196369916201},{"label": "Walker_hound","probability": 00033879687543958426},{"label": "Greater_Swiss_Mountain_dog","probability": 00025766862090677023}],"success": true}第六部分：使用Python向Keras REST API提交请求
如您所见，使用cURL验证非常简单。现在，让我们构建一个Python脚本，该脚本将发布图像并以编程方式解析返回的JSON。
让我们回顾一下simple_requestpy
# import the necessary packagesimport requests# initialize the Keras REST API endpoint URL along with the input# image pathKERAS_REST_API_URL = ""我们在这个脚本中使用Python请求来处理向服务器提交数据。我们的服务器运行在本地主机上，可以通过端口5000访问端点/predict，这是KERAS_REST_API_URL变量(第6行)指定的。
我们还定义了IMAGE_PATH(第7行)。png与我们的脚本在同一个目录中。如果您想测试其他图像，请确保指定到您的输入图像的完整路径。
让我们加载图像并发送到服务器:
# load the input image and construct the payload for the requestimage = open(IMAGE_PATH, "rb")read()payload = {"image": image}# submit the requestr = requestspost(KERAS_REST_API_URL, files=payload)json()# ensure the request was sucessfulif r["success"]: # loop over the predictions and display them for (i, result) in enumerate(r["predictions"]): print("{} {}: {:4f}"format(i + 1, result["label"], result["probability"]))# otherwise, the request failedelse: print("Request failed")我们在第10行以二进制模式读取图像并将其放入有效负载字典。负载通过请求发送到服务器。在第14行发布。如果我们得到一个成功消息，我们可以循环预测并将它们打印到终端。我使这个脚本很简单，但是如果你想变得更有趣，你也可以使用OpenCV在图像上绘制最高的预测文本。
第七部分：运行简单的请求脚本
编写脚本很容易。打开终端并执行以下命令(当然，前提是我们的Flask服务器和Redis服务器都在运行)。
python simple_requestpy使用Python以编程方式使用我们的Keras深度学习REST API的结果
第八部分：扩展深度学习REST API时的注意事项
如果您预期在深度学习REST API上有较长一段时间的高负载，那么您可能需要考虑一种负载平衡算法，例如循环调度，以帮助在多个GPU机器和Redis服务器之间平均分配请求。
记住，Redis是内存中的数据存储，所以我们只能在队列中存储可用内存中的尽可能多的图像。
使用float32数据类型的单个224 x 224 x 3图像将消耗602112字节的内存。
本文章前端代码是基于vue+webpack开发的
Nginx是一款轻量级的Web 服务器/反向代理服务器
首先，webpack配置如下
在开发过程中，我们是通过npm run dev在开发环境中运行代码
如果要部署到生产环境中，可以运行npm run build进行上线打包
打包完成后，会发现项目中多了dist这个文件夹
执行结果和webpack的配置文件一致。
代码被webpack打包完成后下一步就是部署到服务器上，此文仅适合于前端代码是部署在windows *** 作系统的nginx服务中。
这里假设：
Windows *** 作系统：windows server 2008 64位
Nginx服务：nginx-1122 64位
1下载nginx-1122 64位解压，假设nginx-1122放在D:nginx-1122目录中，nginx目录结构。如图下
2、前端代码放在D:nginx-1122html目录中，dist目录就是刚刚前端打包完的代码。如图下
3、在D:nginx-1122conf目录中，有个nginxconf配置文件，进行编辑这个文件
5、打开cmd控制台，进入目录D:nginx-1122中，用start nginx命令启动服务，然后用tasklist /fi "imagename eq nginxexe"，查看nginx服务是否启动。 4、如果改变配置文件时，需要用nginx -s reload 命令重启nginx工作进程。 5、关闭服务
4、假设前端的端口号为8082，如果端口号被占用，请修改为其它端口号。后台服务访问地址>
nginx -s stop
nginx -s quit 安全关闭
taskkill /F /IM nginxexe > nul 关闭所有nginx服务
网上商城系统开发要多少钱？
一、商务阶段
互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果你真的想做，可以来这里，这个手机的开始数字是一伍扒中间的是壹壹三三最后的是泗柒泗泗，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。
①功能规划思维导图产品经理跟甲方对接了解清楚整个项目需求，产出清晰明确的功能需求说明。
②需求报价方案产品经理跟客户确定好功能需求后，输出整个项目开发的报价方案。
③技术开发合同初步确认合作意向后，小跑科技提供技术开发合同，如果乙方对合同协议会异议，双方协商修改。签好合同好，项目进入到设计开发阶段。
④开发进度文档签订合同后，甲方会根据总的开发周期，制订各个开发阶段的里程碑节点，并根据制订的开发计划，推进后续的整个设计开发过程。
二、设计阶段
①原型设计稿产品经理根据合同确认的功能需求，进行整个项目前端界面的原型设计，经过双方确认，定下最终的产品原型。
②原型交互流程图在原型设计稿的基础上，加上每个页面的跳转交互流程标识，以便能够清晰了了解各个页面间的跳转和交互流程。
③UI风格页UI设计师会挑出几个主页面进行风格页的设计，一般会提供3-5个风格页的设计，确认整个UI的设计风格。
④UI高保真设计稿风格确认后，UI设计师根据产品经理提供的产品原型图进行页面的设计，最终输出整套高保真UI设计图。
三、开发阶段（前端后台）
①注册相关账号开发过程中，需要注册相关的开发者账号，包括部分但也不限于以下的开发者账号：1苹果开发者账号2应用宝账号3微信公众号4支付账号5推送账号6阿里云账号7APP统计开发者账号8短信开发者账号9地图开发者账号（注：注册相关开发者账号所需的费用，需要甲方进行支付）
②购买服务器上线前半到一个月，需要购买云服务器（如阿里云服务器）。根据项目预估的运营情况，如未来一段时间的注册用户数，日活用户数，用户增加预估，用户的并发访问情况等，确认服务器的采购配置。
③注册域名，备案如果项目需要分享到微信，或者有官方网站，则需要配备域名使用，需要提前购买好域名和服务器，并进行备案，备案一般需要7-10个工作日。（注：购买服务器和域名，费用需要甲方进行支付）
④交付测试版本小跑科技完成项目的所有功能开发及内部测试后，将打包发布测试的版本给甲方进行反馈测试。期间，双方都需要配置相关的人员进行项目的测试反馈问题。在经过1-3周的测试与反馈后，最终版本功能达到稳定流畅的上线状态。
四、项目上线
①准备上架相关的资料如发布市场的打包版本，应用说明描述，截图，部署服务器和录入正式的数据等工作；
②部署正式服务器将数据库，后台系统部署到正式的服务器上面，并录入正式的上线数据到系统的后台；
③发布APP应用到市场国内的应用一般是发布到苹果的APPSTORE（iOS版本）和腾讯的应用宝（安卓版本）。APPSTORE提交后一般需要10个工作日左右可以通过应用的审核并上架，应用宝一般当天提交APP，当天就可以通过应用的审核并上线
④发布H5或小程序到微信公众号如果是微信H5的网站，只需要将网站部署并挂到小程序的菜单上面；如果是微信小程序，则需要把小程序发布提交给微信团队审核并上架；
四、运维阶段
①免费运维阶段项目上线后，项目便正式进入免费运维的阶段（三个月）。期间，小跑科技会解答甲方的咨询服务，指导甲方的软件使用等事项，以及程序Bug的修复、版本更新等内容。
②交付项目资料免费运维期到后，项目运行基本达到稳定状态。小跑科技会打包所有的项目资料交付给甲方，包括但不限于：1前后端项目的所有最新源代码2数据库设计文档3API设计文档4所有的开发者账号资料5测试文档6原型设计稿7UI设计稿8项目相关文档等资料
③付费运维阶段后续如果甲方需要小跑科技继续提供运维支持，需要签订运维合同。一般运维费用为项目总开发成本的10%~20%，根据项目的用户数量，功能量级及运维工作量进行费用的评估。
谷歌推出的AppInventorAndroidApp开发工具可以让你仅通过拖拉式的简单 *** 作就可以创建自己的AndroidApp。对于那些为了特定目的想要动手尝试开发一个简单应用的用户。是。网站后端指的是服务端技术或者网站后台技术，简单来说后台就是部署在服务器上的 *** 作服务器的应用程序软件。服务器指在网络环境中或在具有客户-服务器结构的分布式管理环境中，为客户的请求提供服务的节点计算机，或指在该计算机上运行的，用于管理资源并为用户提供服务的计算机软件。欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）