支持的 Geo 数据类型

Geo 数据类型是 GitLab 某个或多个功能所需的一类特定数据，用于存储相关信息。

要使用 Geo 复制这些功能产生的数据，我们采用多种策略来访问、传输和验证它们。

数据类型

我们区分以下不同的数据类型：

• Git 仓库
• 容器仓库
• Blob 对象
• 数据库

请参阅下表，了解我们复制的每个功能或组件、其对应的数据类型、复制和验证方法：

脚注:

1. Redis 复制可用作 Redis sentinel 的一部分实现高可用。它不用于 Geo 站点之间。
2. 对象存储复制可由 Geo 或您的对象存储提供商/设备原生复制功能执行。
3. 对象存储验证位于 功能标志 geo_object_storage_verification 后面，在 16.4 版本中引入并默认启用。它使用文件大小的校验和来验证文件。

Git 仓库

GitLab 实例可以有一个或多个仓库分片。每个分片都有一个 Gitaly 实例，负责允许访问和操作本地存储的 Git 仓库。它可以在一台机器上运行：

• 使用单个磁盘。
• 使用多个磁盘挂载为单个挂载点（如 RAID 数组）。
• 使用 LVM。

GitLab 不需要特殊的文件系统，可以与挂载的存储设备一起工作。但是，使用远程文件系统时可能会存在性能限制和一致性问题。

Geo 在 Gitaly 中触发垃圾回收，以在 Geo 从站点上去重分叉的仓库。

Gitaly gRPC API 进行通信，有三种可能的同步方式：

• 使用常规 Git 克隆/获取从一个 Geo 站点到另一个站点（使用特殊身份验证）。
• 使用仓库快照（当第一种方法失败或仓库损坏时）。
• 从 Admin 区域手动触发（结合其他列出的可能方式）。

每个项目最多可以有 3 个不同的仓库：

• 项目仓库，存储源代码。
• Wiki 仓库，存储 Wiki 内容。
• 设计仓库，索引设计工件（资产实际存储在 LFS 中）。

它们都位于同一个分片中，并共享相同的基本名称，Wiki 和设计仓库分别带有 -wiki 和 -design 后缀。

除此之外，还有代码片段仓库。它们可以连接到项目或特定用户。这两种类型都会同步到从站点。

容器仓库

容器仓库存储在容器注册表中。它们是基于容器注册表作为数据存储构建的 GitLab 特定概念。

Blob 对象

GitLab 将文件和 Blob 对象（如 Issue 附件或 LFS 对象）存储在：

• 特定位置的文件系统中。
• 对象存储解决方案。对象存储解决方案可以是：
  • 基于 Cloud 的，如 Amazon S3 和 Google Cloud Storage。
  • 由您托管的（如 MinIO）。
  • 暴露对象存储兼容 API 的存储设备。

当使用文件系统存储而非对象存储时，在使用多个节点时应使用网络挂载的文件系统来运行 GitLab。

关于复制和验证：

• 我们使用内部 API 请求来传输文件和 Blob 对象。
• 对于对象存储，您可以选择：
  • 使用云提供商的复制功能。
  • 让 GitLab 为您进行复制。

数据库

GitLab 依赖于存储在多个数据库中的数据，用于不同的用例。 PostgreSQL 是 Web 界面中用户生成内容的唯一真实来源，如 Issue 内容、评论以及权限和凭证。

PostgreSQL 还可以存储一定级别的缓存数据，如 HTML 渲染的 Markdown 和缓存的合并请求差异。这也可以配置为卸载到对象存储。

我们使用 PostgreSQL 自身的复制功能将数据从主站点复制到从站点。

我们使用 Redis 作为缓存存储，并保存后台作业系统的持久数据。由于这两种用例的数据都仅限于同一个 Geo 站点，因此我们不在站点之间复制它们。

Elasticsearch 是用于高级搜索的可选数据库。它可以改进源代码级别以及 Issue、合并请求和讨论中的用户生成内容的搜索。Geo 不支持 Elasticsearch。

已复制的数据类型

功能标志后已复制的数据类型

启用或禁用复制（针对某些数据类型）

某些数据类型的复制发布在默认启用的功能标志后面。可以访问 GitLab Rails 控制台的 GitLab 管理员可以选择为您的实例禁用它。您可以在下表的备注列中找到每个数据类型的功能标志名称。

要禁用，例如对于包文件复制：

Feature.disable(:geo_package_file_replication)

要启用，例如对于包文件复制：

Feature.enable(:geo_package_file_replication)

脚注:

1. 于 15.5 版本迁移到自助服务框架。有关更多详细信息，请参阅 GitLab 问题 #337436。
2. 于 15.11 版本迁移到自助服务框架。位于功能标志 geo_project_wiki_repository_replication 后面，默认启用。有关更多详细信息，请参阅 GitLab 问题 #367925。
3. 对存储在对象存储中的文件的验证是在 GitLab 16.4 中引入的，使用了一个名为 geo_object_storage_verification 的功能标志，默认启用。