GPU 托管运行器

GitLab 提供 GPU 托管运行器，用于加速 ModelOps 或高性能计算 (HPC) 中的密集计算工作负载，例如作为 ModelOps 工作负载一部分的大语言模型 (LLMs) 的训练或部署。

GitLab 仅在 Linux 上提供 GPU 运行器。有关这些运行器工作原理的更多信息，请参阅 Linux 上的托管运行器

GPU 运行器可用的机器类型

以下机器类型适用于 Linux x86-64 上的 GPU 运行器。

带有 GPU 驱动程序的容器镜像

与 Linux 上的 GitLab 托管运行器一样，您的作业在具有自带镜像策略的隔离虚拟机 (VM) 中运行。GitLab 将主机 VM 中的 GPU 挂载到您的隔离环境中。要使用 GPU，您必须使用安装了 GPU 驱动程序的 Docker 镜像。对于 Nvidia GPU，您可以使用他们的 CUDA Toolkit。

.gitlab-ci.yml 文件示例

在以下 .gitlab-ci.yml 文件示例中，使用了 Nvidia CUDA 基础 Ubuntu 镜像。在 script: 部分，您安装 Python。

gpu-job:
  stage: build
  tags:
    - saas-linux-medium-amd64-gpu-standard
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
  script:
    - apt-get update
    - apt-get install -y python3.10
    - python3.10 --version

如果您不想每次运行作业时都安装 Tensorflow 或 XGBoost 等大型库，您可以创建自己的镜像，预安装所有必需的组件。 观看此演示，了解如何利用 GPU 托管运行器训练 XGBoost 模型：