阿里云PAI-DLC PyTorchJob任务提交参数详解

PAI-DLC PyTorchJob 参数配置与使用指南

在执行 dlc submit pytorchjob 命令提交深度学习训练任务时，参数可划分为两大类别：一类是DLC平台的管控参数，用于定义任务的基础属性与资源规格；另一类是Command执行指令，负责描述容器启动后的具体运行逻辑。下文将对每个参数逐一拆解，帮助您快速掌握其用法与最佳实践。

1. DLC 平台基础参数

这些参数位于命令的最外层，直接告知阿里云PAI-DLC平台“这是一个什么类型的任务”以及“需要分配多少计算资源”。简而言之，它们是任务的“身份标识”与“资源清单”。

2. Command 执行指令 (--command)

这是任务的核心逻辑——一段Shell脚本，定义了容器启动后具体要执行的操作。通常遵循“环境准备→模型训练→模型导出”三步流程。

A. 环境与依赖安装

以下为常见脚本片段：

pip install 
export ODPS_ENDPOINT=

pip install ...——用于安装自定义Python依赖包。由于DLC提供的镜像未涵盖全部业务库（例如推荐算法库tzrec），需通过URL手动安装。

export ODPS_ENDPOINT=...——设置环境变量。若训练数据存储在MaxCompute（ODPS）中，必须配置该Endpoint，项目代码才能正常连接数据服务。

B. 分布式训练启动 (torchrun)

这是启动PyTorch分布式训练的标准方式，具体写法如下：

torchrun \
  --master_addr=$MASTER_ADDR \
  --master_port=$MASTER_PORT \
  --nnodes=$WORLD_SIZE \
  --nproc_per_node=$NPROC_PER_NODE \
  --node_rank=$RANK \
  -m  \
  [业务参数...]

几个关键变量说明：

• $MASTER_ADDR / $MASTER_PORT：PAI自动注入的主节点IP与通信端口，无需手动修改。
• --nnodes=$WORLD_SIZE：节点总数，由DLC平台的资源配置决定。例如申请4台机器，此处值即为4。
• --nproc_per_node=$NPROC_PER_NODE：单机上的进程数，通常等于该机器配置的GPU数量（例如每台8卡，此处填8）。
• --node_rank=$RANK：当前节点编号（从0开始），PAI会自动为每个容器分配唯一的Rank ID。
• -m ：指定要运行的Python模块名，等价于python -m xxx。
• 业务参数（如--pipeline_config_path、--train_input_path）是传递给Python脚本的具体配置，通常包括模型配置文件路径（指向挂载目录下的模型配置）、训练数据输入路径（本地路径/mnt/data/...或ODPS表路径）、模型输出路径（Checkpoint保存位置）。

C. 模型导出/评估（可选）

训练结束后，通常还会执行导出或评估脚本：

INPUT_TILE=2
ODPS_ENDPOINT=
torchrun \
  ... (同上分布式参数) ...
  -m  \
  --pipeline_config_path  \
  --export_dir 

逻辑复用：导出阶段一般也需要分布式环境（尤其是大模型），因此再次调用torchrun并传入相同的分布式环境变量。

--export_dir：指定最终模型文件（如SavedModel、TorchScript）的输出目录。

关键提示

• 换行符 \：Shell脚本中\表示换行续写。复制命令时务必确保\后面没有空格，且紧跟回车。
• 环境变量：$MASTER_ADDR、$WORLD_SIZE、$RANK等变量由PAI-DLC平台在任务启动时自动注入到容器中，切勿硬编码具体的IP或数字，否则多机环境下无法正确组网。
• 路径一致性：--data_sources挂载的路径必须与--command中引用的文件路径（如/mnt/data/deploy/...）保持一致，否则会触发“File not found”错误。