7行代码实现Google T5 Translation as a Service

英文版：Google T5 Translation as a Service with Just 7 lines of Codes - DEV Community ‍ ‍
官方中文：介绍 - Pinferencia (underneathall.app)

什么是T5？ Google 的 Text-To-Text Transfer Transformer (T5) 模型，可以提供多国语言的翻译功能。

---

在本文中，我们将 Google T5 模型部署为 REST API 服务。 觉得很难？ 如果我告诉你：只需要写 7 行代码呢？

HuggingFace 只需几行代码就可以轻松使用预训练模型。

 Pinferencia 只需三行代码就可以非常轻松地把任何模型部署为API服务。

安装依赖 HuggingFace

pip install "transformers[pytorch]"

如果有安装问题，请访问 Installation (huggingface.co) 查阅官方文档。

Pinferencia

pip install "pinferencia[uvicorn]"

如果有安装问题，请访问 Install — Pinferencia (underneathall.app) 查阅官方文档。

定义服务

首先让我们创建 app.py 来定义服务：

from transformers import pipeline

from pinferencia import Server

t5 = pipeline(model="t5-base", tokenizer="t5-base")


def translate(text):
    return t5(text)


service = Server()
service.register(model_name="t5", model=translate)

启动服务

uvicorn app:service --reload

等待模型下载成功，你就会看到

调用服务

您可以使用 curl 或 Pinferencia 的交互式 api 页面。

CURL：

结果：

交互式API页面

结果

如果你喜欢 Pinferencia，别忘了去 GitHub 并点个星星。