阿里云GPU云服务器机器学习

以ecs.gn6i-c4g1.xlarge为例演示2个容器共用1张显卡。

1. 执行以下命令创建容器并设置容器内可见的显存。
   docker run -d -t --gpus all --privileged --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3
   docker run -d -t --gpus all --privileged --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   备注 该命令以使用TensorFlow镜像nvcr.io/nvidia/tensorflow:19.10-py3为例，请根据实际情况更换为您自己的容器镜像。使用TensorFlow镜像搭建TensorFlow深度学习框架的操作。
   本示例中，通过设置环境变量ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV指定显卡的总显存和容器内可见的显存。命令执行结果是创建了2个容器：

   • gpu_test1：分配6 GiB显存。
   • gpu_test2：分配8 GiB显存。
2. 进入容器。
   本示例中，以gpu_test1为例。

   docker exec -it gpu_test1 bash

3. 执行以下命令查看显存等GPU信息。
   nvidia-smi

   容器gpu_test1中可见的显存为6043 MiB，如下图所示。

查看procfs节点

cGPU服务运行时会在/proc/cgpu_km下生成并自动管理多个procfs节点，您可以通过procfs节点查看和配置cGPU服务相关的信息。下面介绍各procfs节点的用途。

1. 执行以下命令查看节点信息。
   # ls /proc/cgpu_km/
   0  default_memsize  inst_ctl  major  version

   节点信息说明如下表所示。

   节点	读写类型	说明
   0	读写	cGPU服务会针对GPU实例中的每张显卡生成一个的目录，并使用数字作为目录名称，例如0、1、2。本示例中只有一张显卡，对应的目录ID为0。
   default_memsize	读写	如果没有设置ALIYUN_COM_GPU_MEM_CONTAINER参数，默认为新创建的容器分配的显存大小。
   inst_ctl	读写	控制节点。
   major	只读	cGPU内核驱动的主设备号。
   version	只读	cGPU的版本。

2. 执行以下命令查看显卡对应的目录内容。
   本示例中，以显卡0为例。

   # ls /proc/cgpu_km/0
   012b2edccd7a   0852a381c0cf   free_weight    max_inst    policy

   目录内容说明如下表所示。

   节点	读写类型	说明
   容器对应的目录	读写	cGPU服务会针对运行在GPU实例中的每个容器生成一个的目录，并使用容器ID作为目录名称。您可以执行docker ps查看已创建的容器。
   free_weigt	只读	用于查询和修改可用的权重。如果free_weight=0，新创建容器的权重值为0，该容器不能获取GPU算力，不能用于运行需要GPU算力的应用。
   max_inst	读写	用于设置容器的最大数量，取值范围为1~16。
   policy	读写	cGPU服务支持以下算力调度策略： 0：平均调度。每个容器占用固定的时间片，时间片占比为1/max_inst。 1：抢占调度。每个容器占用尽量多的时间片，时间片占比为1/当前容器数。 2：权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。 您可以通过修改policy的值实时调整调度策略。

3. 执行以下命令查看容器对应的目录内容。
   本示例中，以012b2edccd7a容器为例。

   # ls /proc/cgpu_km/0/012b2edccd7a
   id  meminfo  memsize  weight

   目录内容说明如下表所示。

   节点	读写类型	说明
   id	只读	容器的ID。
   memsize	读写	用于设置容器内的显存大小。cGPU服务会根据ALIYUN_COM_GPU_MEM_DEV参数自动设定此值。
   meminfo	只读	包括容器内剩余显存容量、正在使用GPU的进程ID及其显存用量。输出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	读写	用于设置容器获取显卡最大算力的权重，默认值为1。所有运行中的容器的权重之和必须小于等于max_inst。

升级cGPU服务

1. 关闭所有运行中的容器。
   docker stop (docker ps -a | awk '{ print $1}' | tail -n +2)

2. 执行upgrade.sh脚本升级cGPU服务至最新版本。
   sh upgrade.sh

卸载cGPU服务

1. 关闭所有运行中的容器。
   docker stop (docker ps -a | awk '{ print $1}' | tail -n +2)

2. 执行sh uninstall.sh脚本卸载cGPU服务。
   sh uninstall.sh

cGPU服务算力调度示例

安装FastGPU

1. 在客户端下载FastGPU软件包。
   wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/fastgpu/ncluster-1.0.8-py3-none-any.whl

2. 安装FastGPU。
   pip install ncluster-1.0.8-py3-none-any.whl

运行FastGPU demo

本步骤以在Cloud Shell中运行BERT finetune任务为例，展示如何使用FastGPU。demo中自动创建的实例规格为ecs.gn6v-c10g1.20xlarge（8卡V100机型），任务部署时间约2.5分钟，训练时长约11.5分钟，总共耗时约14分钟，训练精度达到0.88以上。

1. 打开Cloud Shell。
   本次测试时，Cloud Shell中使用Ubuntu 18.04 64，且默认已安装FastGPU，您可以直接开始准备项目文件并运行任务。
2. 准备项目文件。
   git clone https://github.com/aliyun/alibabacloud-aiacc-demo

3. 进入任务脚本目录。
   cd alibabacloud-aiacc-demo/tensorflow/bert

4. 运行任务脚本。
   python train_news_classifier.py

   运行任务时需要自动创建实例等资源，会提示涉及计费，请按提示确认继续。

   注意 您可以在任务完成后手动释放实例，避免任务完成后实例继续计费。
   脚本运行成功后显示如下图所示。
5. 查看运行任务时自动创建的实例。
   ecluster ls

   
6. 登录实例查看训练过程日志。
   ecluster tmux task0.perseus-bert

   显示以下结果时，表明已完成训练。

运行时说明

命令行说明

; config.ini

[ncluster]
; The job name for current creation job.
name=ncluster-v100
; The number of machine you want to create
machines=1
; The system disk size for instances in GB
system_disk_size=300
; The data disk size for instances in GB
data_disk_size=0
; The system image name you want to installed in the instances.
image_name=ubuntu_18_04_64_20G_alibase_20190624.vhd
; The instance type you want to create at Alibaba Cloud.
instance_type=ecs.gn6v-c10g1.20xlarge
; The spot instance option; If you want to buy spot instance, please set it to True.
spot=False
; If only used to create instances, it can set to True.
confirm_cost=False
; Confirm the next operation will cost money, if set to True will default confirmed.
skip_setup=True
; Nas create/mount options; Set True will disable nas mount for current job.
disable_nas=True
; The zone id info. The option provided to use resource in the zone.
zone_id=cn-hangzhou-i
; Specify the vpc name
vpc_name=ncluster-vpc

[cmd]
install_script=pwd