Help us learn about your current experience with the documentation. Take the survey.

AI 功能开发手册

本手册概述了我们在 GitLab 开发 AI 功能的方法，与我们的产品开发流程中的构建阶段类似且并行进行。它作为 AI 功能开发和运营考虑的指导手册。

入门指南

AI 功能开发过程包含五个关键且相互依赖的迭代阶段：

此阶段为 AI 功能做好准备，使其能够被工程团队构建。它补充了产品开发流程构建阶段的规划阶段。

此时，应该已经充分理解客户问题，无论是通过明确的需求说明，还是通过完成产品开发流程验证阶段。

作为此阶段的一部分，团队需要确定已批准的模型是否满足新功能的需求，或者提交其他模型的批准提案。团队还需要设计或采用测试和评估策略，包括识别所需的数据集。

开发阶段以及紧密相关的测试和评估阶段，是我们构建 AI 功能、解决错误或技术债务、并在发布前测试解决方案的地方。它补充了产品开发流程构建阶段的开发和测试阶段。

此阶段包括提示工程，团队在其中设计和优化提示以实现所需的 AI 模型行为。这通常需要多次迭代来优化准确性、一致性和用户体验。

开发可能包括通过 AI Gateway 将选定的模型与 GitLab 基础设施集成，以及实现 API 接口。团队必须考虑支持 GitLab Duo Self-Hosted 的要求。

在测试和评估阶段，我们使用传统的自动化测试实践和 AI 生成内容的评估来验证 AI 功能的质量、性能和安全性。它补充了产品开发流程构建阶段的开发和测试阶段。

评估涉及创建代表实际使用场景的数据集，以确保全面覆盖功能的行为。团队实施评估策略，涵盖 AI 生成内容质量的多个方面以及性能特征。

此阶段专注于通过受控发布和全面监控将 AI 功能安全地引入生产环境。它补充了产品开发流程构建阶段的发布阶段。

我们使用功能标志来控制访问并逐步扩大用户曝光度，从内部团队开始，然后进行更广泛的增量发布。监控跟踪技术指标（延迟、错误率、资源使用）和 AI 特定指标（模型性能、响应质量、用户满意度）。警报系统可用于检测性能下降、异常模式或需要立即关注的安全问题。

此阶段专注于根据数据、用户反馈和不断变化的需求迭代改进功能。它补充了产品开发流程构建阶段的改进阶段。

我们分析实际使用模式和性能指标以识别改进机会，无论是在提示工程、模型选择、系统架构还是功能设计方面。用户反馈应捕获关于用户满意度的定性洞察。团队可以根据用户交互和反馈迭代优化提示。

此阶段包括模型迁移，当更新、更强大的模型可用时。

随着开发的进行，每个阶段都可以反馈到任何一个或所有早期阶段。开发和测试与评估阶段尤其紧密交织。相互依赖的示例如下：