阿里云PAI-EAS共享GPU一卡部署EasyRec与TorchEasyRec模型

在单张GPU上同时部署多个模型实例，是推理服务中十分常见的需求。以阿里云PAI-EAS为例，操作流程并不复杂：先购买GPU专有资源组（包月），再将模型打分服务部署至该资源组。

首先，我们来聊聊硬件选型。推理卡通常选用A10（32核）、gu30或L20等型号。例如，A10的显存容量为24G（实际可用略低于24G），可切分为3个实例，每个实例分配7G显存——请注意不要设置为8G，保留一定余量更为稳妥。

参数详解

以下是几个关键参数，具体操作将在下一节详细说明。请牢记，PAI-EAS服务配置中最核心的参数是 gpu_memory 字段，其值应设为7（即7GB）。

需要注意一个常见陷阱：gpu_core_percentage 参数最好不进行配置，否则可能导致GPU响应时间（RT）出现毛刺。此外，在EasyRec中需设置 cuda: "11.2"。

引擎配置单（pairec）中还有一个重要参数 BatchCount，该参数决定了每次打分处理的物品数量。

操作步骤

（1）点击“更新服务”

（2）启用“GPU”共享，依次设置CPU数量、内存容量以及显存大小

（3）点击“确定”完成服务更新

（4）前往PAI-EAS服务“监控”标签页，查看CPU内存与GPU显存占用情况

若内存和GPU显存显示正常，且服务状态为“运行中”，则表明配置已成功生效。

（5）调整引擎配置单中的BatchCount

BatchCount通常设置在100到300之间。举个例子：当BatchCount=300、精排数量为900时，精排PAI-EAS服务至少需要3个实例才能快速返回打分结果；如果仅部署1个实例，则需分3次打分，耗时将增加至3倍。

参考TorchEasyRec版本的配置文件

TorchEasyRec Processor: https://help.aliyun.com/zh/pai/torcheasyrec-processor

EasyRec版本：参考DataWorks部署任务的脚本

在EasyRec中，必须将 cuda 参数设置为 "11.2"