什么是模型服务?
在部署ML模型时,数据科学家或工程师必须根据他们的应用场景做出选择。
如果他们需要大量的预测,并且延迟不是问题,通常会选择批量处理,向模型提供大量数据并将预测结果写入表中。
如果他们需要低延迟的预测,例如响应应用程序中的用户 *** 作,最好的方式是将ML模型部署为REST端点。
这些应用程序向一个在线服务发送请求,并立即接收预测结果。
本资源整理了计算机视觉、NLP、语音识别领域深度学习模型部署常见的平台和方法,涉及Tensorflow Serving,TorchServe,BentoML,DeepDetect等十几种方法。
资源整理自网络,源地址:https://github.com/balavenkatesh3322/model_deployment
内容涉及多次跳转,点击文末“阅读原文“”查看资源详情。
目录
内容截图
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)