AI测试工程师面试题

AI测试工程师面试题

覆盖 AI 短剧平台、算力网关、多模型接入、MaaS 平台、支付客服链路及自动化测试岗位职责的核心面试题与结构化回答话术。

本文根据 AI 测试工程师真实岗位职责整理,后续持续补充。

AI测试工程师面试题与结构化回答话术

适用岗位:AI 测试工程师、大模型测试工程师、AI 平台测试工程师、MaaS 平台测试工程师、接口自动化测试工程师
重点覆盖:AI 短剧全链路、算力网关、多厂商模型接入、SSE 流式输出、Token 计量计费、MaaS 平台、支付与客服链路、AI 效果测试、性能测试、自动化框架及 CI/CD
建议回答结构:先说结论 → 说明原理 → 介绍实际做法 → 结合项目举例 → 补充风险和边界


高频等级说明

星级 等级 学习要求
★★★★★ 必问 必须能够熟练、结构化回答,并准备项目案例
★★★★☆ 高频 需要重点掌握,能够结合实际项目回答
★★★☆☆ 常见 理解原理,能够说清核心做法
★★☆☆☆ 进阶 针对中高级岗位进行准备
★☆☆☆☆ 扩展 了解即可,根据岗位方向选择准备

★★★★★ 五星必问题速查

  1. 什么是 AI 测试?
  2. AI 测试和传统软件测试有什么区别?
  3. 如何测试 AI 短剧平台全链路?
  4. 如何测试 AI 任务排队与异步执行?
  5. AI 任务失败后如何测试重试机制?
  6. 什么是算力网关?
  7. 如何测试 API 鉴权?
  8. 什么是熔断?如何测试熔断?
  9. 什么是 SSE?
  10. 如何测试 SSE 流式接口?
  11. 什么是 TTFT?
  12. 如何测试 Token 用量统计?
  13. 什么是 MaaS?
  14. 同一个 Prompt 每次回答不同,怎么做自动化断言?
  15. 如果让你搭建 AI 接口自动化框架,你会怎么设计?

面试题总目录

一、AI 测试基础

  1. 什么是 AI 测试? ★★★★★
  2. AI 测试和传统软件测试有什么区别? ★★★★★
  3. AI 系统通常有哪些测试对象? ★★★★☆
  4. AI 系统常见的质量风险有哪些? ★★★★☆

二、AI 短剧平台全链路测试

  1. 如何测试 AI 短剧平台全链路? ★★★★★
  2. 如何测试剧本生成模块? ★★★★☆
  3. 如何测试文生图和图生视频模块? ★★★★☆
  4. 如何测试配音和字幕功能? ★★★★☆
  5. 如何测试 AI 任务排队与异步执行? ★★★★★
  6. AI 任务失败后如何测试重试机制? ★★★★★
  7. 如何统计 AI 内容生成成功率? ★★★★☆

三、算力网关与 Token API 测试

  1. 什么是算力网关? ★★★★★
  2. 如何测试 API 鉴权? ★★★★★
  3. 如何测试接口限流? ★★★★★
  4. 什么是熔断?如何测试熔断? ★★★★★
  5. 什么是模型路由?如何测试? ★★★★☆
  6. AI 接口中的 Token 是什么? ★★★★★
  7. 如何测试 Token 用量统计? ★★★★★
  8. 如何测试计费和超额拦截? ★★★★★

四、SSE 流式接口测试

  1. 什么是 SSE? ★★★★★
  2. 如何测试 SSE 流式接口? ★★★★★
  3. 什么是 TTFT? ★★★★★
  4. SSE 中途断流怎么测试? ★★★★☆

五、多厂商大模型接入测试

  1. 平台接入多个大模型时应该怎么测试? ★★★★★
  2. 如何测试模型参数兼容性? ★★★★☆
  3. 什么是模型降级?如何测试? ★★★★★
  4. 如何测试大模型错误码和异常返回? ★★★★☆

六、MaaS 平台测试

  1. 什么是 MaaS? ★★★★★
  2. 如何测试模型上架与版本管理? ★★★★☆
  3. 如何测试 API Key 管理? ★★★★★
  4. 如何测试租户隔离? ★★★★★
  5. 如何测试 GPU 资源池与实例生命周期? ★★★★☆
  6. 如何测试弹性扩缩容? ★★★★★
  7. 如何测试任务调度? ★★★★☆

七、支付、充值和客服链路测试

  1. 如何测试支付下单与回调链路? ★★★★★
  2. 如何测试充值与算力包核销? ★★★★☆
  3. 如何测试企业微信客服会话分配? ★★★★☆
  4. 如何测试客服消息收发和告警通知? ★★★★☆

八、AI 效果测试与自动化断言

  1. 什么是 AI 效果测试? ★★★★★
  2. 同一个 Prompt 每次回答不同,怎么做自动化断言? ★★★★★
  3. 什么是 LLM-as-a-Judge? ★★★★☆
  4. 如何构建 AI 效果测试数据集? ★★★★★
  5. 如何测试模型幻觉? ★★★★☆
  6. 如何测试 Prompt Injection? ★★★★★

九、AI 性能与稳定性测试

  1. AI 平台常见性能指标有哪些? ★★★★★
  2. 如何制定 AI 接口压测方案? ★★★★★
  3. 测试环境与生产环境配置不同,怎么评估压测结果? ★★★★★
  4. 压测中响应时间升高或错误率上升,如何定位? ★★★★★
  5. 如何做 AI 平台稳定性测试? ★★★★☆

十、接口自动化框架与 CI/CD

  1. 如何搭建 AI 接口自动化框架? ★★★★★
  2. AI 接口自动化中的断言中心应该怎么设计? ★★★★★
  3. 如何对 SSE 接口做自动化封装? ★★★★☆
  4. 如何将 AI 自动化测试接入 CI/CD? ★★★★☆

十一、缺陷定位、沟通和质量推动

  1. AI 生成失败时如何定位问题? ★★★★★
  2. 自动化发现问题后如何推动开发解决? ★★★★★
  3. 如何建立 AI 平台质量看板? ★★★★☆

十二、综合项目题

  1. 请介绍一个你设计的 AI 平台测试方案。 ★★★★★
  2. AI 平台测试中你认为最难的三件事是什么? ★★★★☆
  3. 如果入职后让你从 0 到 1 建设 AI 测试体系,你会怎么做? ★★★★★
  4. 为什么你适合这个 AI 测试工程师岗位? ★★★★★

一、AI 测试基础

1.1 什么是 AI 测试? ★★★★★ 必问

考察点: 是否真正理解 AI 测试的范围,以及 AI 测试与传统功能测试之间的区别。

结构化回答话术:

AI 测试是对大模型、智能体、AI 应用以及 AI 基础设施平台进行质量验证的过程。它不仅要验证传统的软件功能、接口、数据和性能,还要验证模型输出质量、稳定性、安全性、多模型兼容性、Token 消耗、流式响应以及推理服务的可用性。

传统系统的输出通常具有确定性,例如输入固定参数后,接口会返回固定结果;而大模型的输出具有概率性,同一个 Prompt 多次执行时,结果可能不同。因此,AI 测试不能只依赖全文相等断言,而要结合规则断言、结构化断言、语义相似度、LLM 评审和人工抽检进行综合判断。

例如 AI 短剧平台的完整链路:用户输入主题 → 生成剧本 → 生成分镜 → 文生图 → 图生视频 → 配音 → 字幕 → 合成导出。测试人员不仅要验证每个接口是否成功,还要关注任务是否正确排队、失败后是否重试、异步回调是否完成、最终视频是否可播放,以及生成内容是否符合用户输入的主题。

可能追问: AI 测试和传统测试最大的区别是什么?AI 测试为什么不能只做精确断言?AI 测试主要包括哪些测试类型?


1.2 AI 测试和传统软件测试有什么区别? ★★★★★ 必问

考察点: 是否具备 AI 产品的测试思维。

结构化回答话术:

传统软件测试主要验证确定性逻辑,输入和预期输出通常可以明确对应,因此可以通过精确值进行断言。AI 测试除了验证系统功能,还要验证模型效果,而模型输出具有概率性、开放性和非确定性。

两者主要区别如下:

  1. 传统测试关注功能是否按照规则执行,AI 测试还要关注回答是否合理、相关、完整和安全。
  2. 传统测试常使用精确断言,AI 测试更常使用关键词、Schema、规则评分、语义相似度和 LLM Judge。
  3. 传统测试失败通常是明确的功能错误,AI 测试还可能存在事实错误、幻觉、偏题、拒答不当、风格不一致等效果问题。
  4. AI 系统还要关注 Token、TTFT、Token/s、模型降级、限流、算力资源和多模型路由。

例如对于退款规则查询接口,传统系统可能返回固定 JSON,可以直接断言字段值;AI 客服可能用不同语言表达同一个退款流程,因此更适合验证是否包含必要步骤、是否引用正确规则以及是否出现错误承诺。

可能追问: AI 系统如何设计自动化断言?同一个问题每次回答不同,如何判断是否通过?


1.3 AI 系统通常有哪些测试对象? ★★★★☆ 高频

考察点: 是否能够从系统架构角度拆分 AI 测试范围。

结构化回答话术:

AI 系统通常可以拆分为五层:

  1. 业务应用层,例如 AI 短剧、AI 客服和智能体。
  2. 模型服务层,例如 DeepSeek、GLM、通义、豆包等模型接口。
  3. 平台层,例如 MaaS 平台、模型管理、API Key、租户、配额和计费。
  4. 网关与调度层,例如鉴权、限流、熔断、路由、降级和 GPU 调度。
  5. 数据与基础设施层,例如数据库、消息队列、对象存储、日志、监控和 GPU 资源池。

测试时需要分别验证各层功能,并重点关注跨层数据一致性和异常传递。例如 AI 短剧任务提交成功后,要验证数据库任务状态、消息队列消息、模型调用记录、素材存储地址、最终合成状态和前端任务展示是否一致。

可能追问: 你会如何制定 AI 平台测试计划?哪些模块适合优先做自动化?


1.4 AI 系统常见的质量风险有哪些? ★★★★☆ 高频

考察点: 风险识别能力。

结构化回答话术:

常见风险包括:

  • 模型输出错误、幻觉或偏题。
  • 模型响应超时、流式中断或返回内容不完整。
  • 多模型参数不兼容。
  • Token 统计不准确或重复扣费。
  • 异步任务丢失、重复消费或状态不一致。
  • 模型不可用时降级失败。
  • 高并发下限流、排队和资源调度异常。
  • 租户数据越权和 API Key 泄漏。
  • Prompt Injection、敏感内容和隐私泄漏。
  • 支付、充值、核销和退款链路数据不一致。

例如生成视频接口返回成功,但回调未更新数据库,导致用户一直看到“生成中”,这属于异步状态一致性问题。

可能追问: 哪几类风险优先级最高?你会如何设计风险矩阵?


二、AI 短剧平台全链路测试

2.1 如何测试 AI 短剧平台全链路? ★★★★★ 必问

考察点: 对复杂 AI 业务全链路的拆解能力。

结构化回答话术:

我会先按照业务链路拆分测试范围:

  1. 用户输入:主题、人物、时长、风格、语言和比例。
  2. 剧本生成:结构、角色、对白、场景和时长约束。
  3. 分镜生成:镜头数量、镜头顺序和场景匹配。
  4. 文生图或图生图:画面质量、人物一致性和尺寸。
  5. 图生视频:动作连续性、时长和生成成功率。
  6. 配音与字幕:音色、语言、时间轴和同步性。
  7. 合成导出:音视频完整性、格式、分辨率和下载。
  8. 任务系统:排队、回调、超时、重试、取消和恢复。
  9. 计费系统:Token、算力消耗、余额和账单。
  10. 性能与稳定性:并发任务、TTFT、总耗时和成功率。

在测试设计上,我会覆盖正常、异常、边界、并发、兼容性、安全和数据一致性场景。

例如提交一个“3 分钟、9:16、校园题材、中文配音”的短剧任务,需要验证剧本时长是否合理、画面比例是否正确、配音语言是否为中文、字幕与语音是否同步,以及导出文件是否可正常播放。

可能追问: AI 短剧平台最难测试的部分是什么?如何判断生成的视频质量是否合格?如何测试人物一致性?


2.2 如何测试剧本生成模块? ★★★★☆ 高频

考察点: 对生成式内容质量测试的设计能力。

结构化回答话术:

剧本生成模块可以从功能、结构、内容和稳定性四个维度测试:

  • 功能:是否支持题材、人物、时长、语言和风格参数。
  • 结构:是否包含标题、角色、场景、对白和镜头说明。
  • 内容:是否围绕主题、逻辑连贯、角色关系一致。
  • 约束:字数、时长、场景数是否符合输入要求。
  • 安全:是否生成违规、侵权或敏感内容。
  • 稳定性:同类 Prompt 多次执行时成功率是否稳定。
  • 异常:空 Prompt、超长 Prompt、特殊字符和敏感词处理。

对于结构化输出,应优先要求模型返回 JSON,再通过 JSON Schema 进行自动化校验。例如要求生成“5 个场景、2 名角色、总时长 60 秒”的短剧,可以断言场景数量、角色列表和预计时长字段;内容合理性再通过规则或 LLM Judge 评估。

可能追问: 剧本是否连贯如何自动判断?如何避免 LLM Judge 自身判断不稳定?


2.3 如何测试文生图和图生视频模块? ★★★★☆ 高频

考察点: 对多模态生成任务的理解。

结构化回答话术:

文生图需要验证 Prompt、尺寸、分辨率、格式、风格、人物属性和内容安全。图生视频还要验证输入图片可用性、视频时长、帧率、动作连续性、画面稳定性和输出格式。

重点场景包括:

  • 支持和不支持的文件格式。
  • 超大、超小和损坏图片。
  • 不同分辨率和比例。
  • 生成任务超时、取消和重试。
  • 人物脸部、服装和背景是否前后一致。
  • 视频是否出现闪烁、黑帧、花屏和音画不同步。
  • 生成结果是否与 Prompt 主题相关。

例如同一个角色连续生成多个镜头时,可以通过人脸特征相似度、服装颜色和关键属性进行一致性验证,同时结合人工抽检。

可能追问: 多模态效果如何做自动化评估?视频质量可以用哪些指标检测?


2.4 如何测试配音和字幕功能? ★★★★☆ 高频

考察点: 对音频、字幕和时间轴测试的理解。

结构化回答话术:

配音测试重点包括音色、语速、语言、情绪、音量、停顿和文件完整性。字幕测试重点包括文本准确性、时间轴、断句、字体、位置和编码。

还需要验证:

  • 配音与角色是否正确绑定。
  • 字幕是否与语音同步。
  • 字幕是否缺失、重复或乱码。
  • 多语言配音是否正确。
  • 音频失败后是否支持重试。
  • 合成后是否出现无声、爆音或错位。

例如可以提取字幕时间轴和音频语音识别结果进行比对,并计算字幕文本与识别文本的相似度;对重点视频再人工抽样检查音画同步。

可能追问: 如何自动检测字幕与语音不同步?TTS 接口通常要测试哪些异常场景?


2.5 如何测试 AI 任务排队与异步执行? ★★★★★ 必问

考察点: 是否理解 AI 任务通常采用异步架构。

结构化回答话术:

AI 生成任务耗时较长,通常采用提交任务、返回 taskId、后台处理、轮询或回调获取结果的异步模式。

测试重点包括:

  • taskId 是否唯一。
  • 任务状态是否按照待执行、执行中、成功或失败流转。
  • 高并发提交时是否丢任务。
  • 消息是否重复消费。
  • 任务是否按照优先级执行。
  • 取消任务后是否停止消耗资源。
  • 服务重启后任务是否恢复。
  • 超时后是否自动失败或重试。
  • 回调失败是否补偿。
  • 数据库、缓存、消息队列和页面状态是否一致。

例如批量提交 1000 个视频生成任务,统计总任务数、成功数、失败数和队列积压量,并核对是否存在重复任务、长期卡在执行中的任务以及状态不一致。

可能追问: 如何定位消息丢失?如何验证消息重复消费?如何保证任务幂等?


2.6 AI 任务失败后如何测试重试机制? ★★★★★ 必问

考察点: 对异常恢复和幂等性的理解。

结构化回答话术:

重试测试要重点验证重试条件、重试次数、重试间隔、最终状态和重复副作用。

我会覆盖:

  • 网络超时后是否重试。
  • 模型返回 5xx 后是否重试。
  • 业务参数错误是否错误地进行重试。
  • 是否采用固定间隔或指数退避。
  • 达到最大次数后是否进入失败状态。
  • 重试是否复用原 taskId。
  • 重试过程中是否重复扣费、重复生成素材或重复回调。
  • 重试日志是否完整。
  • 人工重试和系统自动重试是否冲突。

例如模拟模型接口前两次返回 500、第三次成功,验证系统最终成功,并且只产生一条业务任务和一次有效扣费记录。

可能追问: 什么是指数退避?哪些错误不应该重试?如何设计幂等键?


2.7 如何统计 AI 内容生成成功率? ★★★★☆ 高频

考察点: 对质量指标和监控口径的理解。

结构化回答话术:

生成成功率通常计算为成功任务数除以有效提交任务数,但需要先统一统计口径。

应明确:

  • 用户主动取消是否计入失败。
  • 参数校验失败是否计入生成失败。
  • 自动重试后成功如何统计。
  • 部分链路成功但最终合成失败如何统计。
  • 超时任务如何归类。

除了整体成功率,还应按模型、任务类型、时间段、租户、错误码和生成阶段进行拆分。例如某天提交 1000 个有效视频任务,最终成功 970 个、模型超时 20 个、合成失败 10 个,则整体成功率为 97%,同时继续分析模型超时率和合成失败率。

可能追问: 成功率突然下降怎么排查?如何建立质量看板?


三、算力网关与 Token API 测试

3.1 什么是算力网关? ★★★★★ 必问

考察点: 是否理解大模型平台网关的作用。

结构化回答话术:

算力网关是 AI 平台统一接收模型请求并向下游模型或 GPU 服务转发的入口。它通常负责鉴权、限流、路由、负载均衡、Token 统计、计费、日志、熔断、降级和流式转发。

对于上层业务,网关屏蔽了不同模型厂商的接口差异;对于平台管理者,网关可以统一控制访问权限、用量、配额和成本。例如业务方只调用统一的 /v1/chat/completions 接口,由网关根据 model 参数将请求路由到 DeepSeek、GLM 或通义,并统一返回格式。

可能追问: 算力网关和普通 API 网关有什么区别?网关最核心的测试点是什么?


3.2 如何测试 API 鉴权? ★★★★★ 必问

考察点: 接口安全测试基础。

结构化回答话术:

API 鉴权测试需要覆盖:

  • 正确 API Key 访问。
  • 缺失 API Key。
  • 错误、过期、禁用和删除的 Key。
  • Key 所属租户是否正确。
  • Key 是否具备模型访问权限。
  • 不同角色权限是否正确。
  • Key 是否支持 IP 白名单。
  • Key 轮换后旧 Key 是否失效。
  • 请求签名和时间戳是否可防重放。
  • 错误信息是否泄露敏感内容。

例如 A 租户的 API Key 只能访问 A 租户已开通的模型。如果使用该 Key 访问 B 租户的私有模型,应返回 403,并且不能泄露模型配置。

可能追问: 401 和 403 有什么区别?如何测试越权?如何防止重放攻击?


3.3 如何测试接口限流? ★★★★★ 必问

考察点: 对 QPS、并发和限流策略的理解。

结构化回答话术:

我会先确认限流维度和规则,例如按租户、API Key、用户、IP、模型或接口限流,再通过 JMeter、Locust 或 Python 并发脚本构造超过阈值的请求。

重点验证:

  • 阈值内请求是否正常。
  • 超过阈值后是否返回 429。
  • 限流是否按配置准确生效。
  • 不同租户是否相互独立。
  • 限流窗口恢复后是否正常。
  • 响应头是否返回剩余额度和重试时间。
  • 流式请求是否正确计入并发。
  • 被限流请求是否错误扣费。
  • 高压下网关是否稳定。

例如某 API Key 限制 100 QPS,可以分别发送 80、100、120 QPS,观察实际通过量、429 比例和恢复时间,确认是否符合策略。

可能追问: 固定窗口和滑动窗口有什么区别?QPS 限流和并发数限流有什么区别?


3.4 什么是熔断?如何测试熔断? ★★★★★ 必问

考察点: 对分布式系统稳定性机制的理解。

结构化回答话术:

熔断是当下游模型持续失败或响应过慢时,网关暂时停止继续调用该服务,快速返回失败或切换备用模型,避免故障扩散。

测试时需要验证:

  • 失败次数或失败率达到阈值后是否进入熔断。
  • 熔断期间是否快速失败。
  • 是否切换备用模型。
  • 半开状态是否允许探测请求。
  • 下游恢复后是否自动闭合。
  • 熔断范围是单实例、单模型还是全局。
  • 熔断期间是否错误扣费。
  • 日志和监控告警是否完整。

例如将 DeepSeek 接口模拟为连续返回 500,当失败率超过配置阈值后,验证网关不再继续调用 DeepSeek,而是快速返回或自动切换 GLM。

可能追问: 熔断和限流有什么区别?什么是半开状态?熔断后如何避免频繁抖动?


3.5 什么是模型路由?如何测试? ★★★★☆ 高频

考察点: 是否理解多模型调度策略。

结构化回答话术:

模型路由是网关根据模型名称、租户配置、成本、质量、地区、负载或故障状态,将请求转发到不同模型供应商或实例。

测试重点包括:

  • 指定模型是否路由正确。
  • 默认模型是否正确。
  • 不同租户是否使用各自配置。
  • 权重路由比例是否符合配置。
  • 灰度发布是否只影响目标用户。
  • 主模型异常后是否切换备用模型。
  • 路由后返回格式是否统一。
  • 路由日志是否可追踪。

例如配置 DeepSeek 和 GLM 按 70% 与 30% 流量分配,可以发送足够数量的请求,统计实际路由比例是否在合理误差范围内。

可能追问: 如何验证权重路由?如何避免同一会话切换模型导致上下文不一致?


3.6 AI 接口中的 Token 是什么? ★★★★★ 必问

考察点: 是否区分认证 Token 和大模型 Token。

结构化回答话术:

在 AI 平台中,Token 通常有两种含义。

第一种是身份认证 Token,例如 JWT 或 API Key,用于确认调用者身份和权限。

第二种是大模型 Token,表示模型处理文本时使用的基本计量单位。模型通常会统计输入 Token、输出 Token 和总 Token,并据此进行限额和计费。

测试时需要确认上下文、Prompt、历史消息、系统提示词和输出内容是否都被正确计入 Token。例如一次请求返回 prompt_tokens=100、completion_tokens=50、total_tokens=150,需要验证 total 是否等于前两者之和,并核对平台账单扣费是否使用相同口径。

可能追问: 中文一个字是否一定等于一个 Token?输入 Token 和输出 Token 如何计费?


3.7 如何测试 Token 用量统计? ★★★★★ 必问

考察点: 数据一致性和计量测试能力。

结构化回答话术:

Token 统计测试应覆盖:

  • 输入、输出和总 Token 计算。
  • 流式与非流式返回统计是否一致。
  • 请求失败是否计费。
  • 中途取消时如何统计。
  • 模型重试是否重复统计。
  • 网关统计与模型厂商账单是否一致。
  • 多轮会话历史是否计入输入 Token。
  • 不同模型 Tokenizer 差异是否正确处理。
  • 并发请求下是否出现漏记或重复记录。
  • 日账单、租户账单和明细记录是否一致。

例如针对同一请求,同时记录模型原始 usage、网关 usage、数据库用量记录和租户账单,进行四方核对。

可能追问: Token 统计不一致怎么定位?流式响应结束前如何获取最终 usage?


3.8 如何测试计费和超额拦截? ★★★★★ 必问

考察点: 对配额、余额和计费一致性的理解。

结构化回答话术:

计费测试要覆盖价格配置、用量计算、余额扣减、配额限制和账单对账。

重点包括:

  • 不同模型单价是否正确。
  • 输入和输出 Token 是否按不同单价计费。
  • 免费额度是否优先抵扣。
  • 余额不足是否在调用前或调用中拦截。
  • 请求失败、超时和取消是否扣费。
  • 重试是否重复扣费。
  • 并发请求下是否出现余额透支。
  • 日限额、月限额和租户限额是否生效。
  • 账单明细与汇总是否一致。

例如租户余额只够一次调用时,同时发起两个高消耗请求,验证系统是否通过原子扣减避免余额被重复使用。

可能追问: 如何防止并发超额消费?计费系统为什么要做幂等?


四、SSE 流式接口测试

4.1 什么是 SSE? ★★★★★ 必问

考察点: 是否理解大模型常用的流式输出协议。

结构化回答话术:

SSE 全称 Server-Sent Events,是服务器通过一个持续保持的 HTTP 连接,向客户端单向推送事件的机制。大模型聊天接口通常使用 SSE 逐段返回 Token,用户不需要等待完整答案生成后再看到结果。

SSE 常见响应头包含 Content-Type: text/event-stream,服务端持续返回以 data: 开头的数据块,最后通过结束标志关闭流。

例如用户发送问题后,接口先返回首个 Token,再持续返回后续内容,最后返回 [DONE] 或结束事件。

可能追问: SSE 和 WebSocket 有什么区别?SSE 为什么适合大模型流式输出?


4.2 如何测试 SSE 流式接口? ★★★★★ 必问

考察点: 流式接口测试能力。

结构化回答话术:

SSE 测试不能只看最终拼接结果,还要验证整个流式过程。

重点包括:

  • 响应头是否为 text/event-stream。
  • 是否及时返回首个数据块。
  • 每个数据块格式是否正确。
  • 数据块顺序是否正确。
  • 中文字符是否被截断或乱码。
  • 最终内容拼接是否完整。
  • 是否返回结束标志。
  • 流中断后客户端是否正确处理。
  • 心跳机制是否正常。
  • 取消请求后服务端是否停止推理。
  • 最终 Token 统计是否准确。
  • 高并发流式连接是否稳定。

例如使用 Python requests 的 stream=True 或 httpx 异步客户端逐行读取 SSE 事件,记录首包时间、总耗时、事件数、结束标志和拼接后的完整内容。

可能追问: 如何在自动化脚本中读取 SSE?如何判断流式数据丢失?如何测试客户端主动断开?


4.3 什么是 TTFT? ★★★★★ 必问

考察点: 是否理解大模型性能核心指标。

结构化回答话术:

TTFT 是 Time To First Token,即从客户端发出请求到收到第一个 Token 之间的时间。它反映用户等待模型开始响应的速度,是大模型交互体验的重要指标。

TTFT 通常受排队时间、Prompt 长度、模型加载、网络、调度和推理框架影响。例如请求在 0 秒发出,0.8 秒收到第一个流式数据块,则 TTFT 为 800 毫秒。即使总响应需要 10 秒,用户仍会感觉系统已经开始工作。

可能追问: TTFT 和总响应时间有什么区别?TTFT 升高如何定位?


4.4 SSE 中途断流怎么测试? ★★★★☆ 高频

考察点: 对网络异常和恢复能力的理解。

结构化回答话术:

可以通过代理工具、故障注入或服务 Mock 模拟连接中断。

验证内容包括:

  • 客户端是否提示生成中断。
  • 已接收内容是否保留。
  • 是否支持自动重连。
  • 重连后是否重复返回内容。
  • 服务端是否继续占用 GPU。
  • 中断任务是否正确结算 Token。
  • 任务状态是否更新。
  • 是否生成异常日志和告警。

例如在生成到一半时主动关闭客户端连接,检查模型服务是否及时取消推理,以及平台是否只统计实际消耗。

可能追问: SSE 能否从断点继续?如何避免重连后内容重复?


五、多厂商大模型接入测试

5.1 平台接入多个大模型时应该怎么测试? ★★★★★ 必问

考察点: 多模型兼容性测试思路。

结构化回答话术:

我会从接口适配、参数兼容、能力差异、异常处理和统一规范五个方面测试。

重点包括:

  • 各厂商认证方式是否正确。
  • model、messages、temperature、top_p、max_tokens 等参数是否正确映射。
  • 流式与非流式响应是否统一。
  • usage、finish_reason 和错误码是否转换一致。
  • 不支持参数是否被正确过滤或提示。
  • 文本、多模态、工具调用和 JSON 输出能力是否正确识别。
  • 超时、限流和服务异常是否统一处理。
  • 切换模型后上层业务是否无需修改。

例如相同业务请求分别调用 GLM、豆包、通义和 DeepSeek,验证平台统一返回 content、usage 和 finish_reason 字段。

可能追问: 不同模型参数不一致怎么处理?如何建立统一适配层?


5.2 如何测试模型参数兼容性? ★★★★☆ 高频

考察点: 是否了解模型参数差异。

结构化回答话术:

需要建立模型能力和参数矩阵,记录每个模型支持的参数、范围和默认值。

测试时覆盖:

  • 参数缺省值。
  • 最小值、最大值和越界值。
  • 不支持参数。
  • 参数类型错误。
  • 参数组合冲突。
  • 不同模型之间的字段映射。
  • 平台默认值是否覆盖厂商默认值。
  • 参数是否真实传递到下游。

例如某模型支持 temperature 范围 0 到 1,另一个模型支持 0 到 2。平台应该根据模型进行校验,而不能统一使用错误范围。

可能追问: temperature 和 top_p 有什么作用?如何验证参数确实生效?


5.3 什么是模型降级?如何测试? ★★★★★ 必问

考察点: 对高可用设计的理解。

结构化回答话术:

模型降级是当主模型不可用、超时、限流或成本过高时,平台自动切换到备用模型或降低能力等级,以保证业务继续运行。

测试重点:

  • 哪些错误触发降级。
  • 超时阈值是否正确。
  • 备用模型顺序是否正确。
  • 切换后返回格式是否一致。
  • 用户是否能感知模型变化。
  • 会话上下文是否完整传递。
  • 降级日志和告警是否记录。
  • 备用模型也失败时如何处理。
  • 降级后 Token 和计费归属是否正确。

例如配置 DeepSeek 为主模型、GLM 为备用模型,模拟 DeepSeek 持续超时,验证请求自动切换到 GLM 并成功返回。

可能追问: 降级和熔断有什么关系?多轮会话切换模型有什么风险?


5.4 如何测试大模型错误码和异常返回? ★★★★☆ 高频

考察点: 异常场景覆盖能力。

结构化回答话术:

需要覆盖模型厂商常见异常:

  • 鉴权失败。
  • 配额不足。
  • 请求参数错误。
  • 模型不存在。
  • 内容安全拦截。
  • 请求频率过高。
  • 上下文超长。
  • 服务内部错误。
  • 网关超时。
  • 流式返回中途报错。

平台应将厂商错误统一映射为内部错误码,同时保留 traceId 便于追踪,但不能向用户暴露敏感信息。例如下游返回 429 时,平台应转换为统一的“模型请求频率超限”错误,并根据策略进行重试、切换模型或快速失败。

可能追问: 哪些异常适合重试?如何设计统一错误码?


六、MaaS 平台测试

6.1 什么是 MaaS? ★★★★★ 必问

考察点: 是否理解模型服务平台的基本概念。

结构化回答话术:

MaaS 全称 Model as a Service,即模型即服务。它将多个大模型以统一 API 形式提供给业务方,并提供模型管理、版本管理、API Key、租户、配额、计费、监控、路由、资源调度和安全控制。

业务方无需直接适配每一家模型厂商,只需要使用平台统一接口。例如企业内部多个系统都通过 MaaS 平台调用 DeepSeek、GLM 和通义,由平台统一管理权限、用量和账单。

可能追问: MaaS 和直接调用模型 API 有什么区别?MaaS 平台最重要的模块有哪些?


6.2 如何测试模型上架与版本管理? ★★★★☆ 高频

考察点: 对平台配置和版本生命周期的测试能力。

结构化回答话术:

模型上架与版本管理测试应覆盖:

  • 新建模型配置。
  • 模型名称、版本、能力和计费规则。
  • 上架、下架、启用和禁用。
  • 版本升级和回滚。
  • 灰度发布。
  • 旧版本会话兼容。
  • 模型删除前依赖检查。
  • 上架后权限和路由是否生效。
  • 配置修改是否需要重启。
  • 操作审计日志是否完整。

例如将模型从 V1 灰度升级到 V2,只允许 10% 的租户使用 V2,验证流量分配、指标对比和快速回滚。

可能追问: 如何测试灰度发布?如何验证模型版本回滚?


6.3 如何测试 API Key 管理? ★★★★★ 必问

考察点: 对密钥生命周期管理的理解。

结构化回答话术:

API Key 测试包括:

  • 创建、查看、复制、禁用、启用、删除和轮换。
  • Key 是否只在创建时完整展示。
  • Key 是否绑定租户、用户、模型和权限。
  • Key 是否支持有效期、配额和 IP 白名单。
  • 被禁用或删除后是否立即失效。
  • 日志中是否脱敏。
  • 不同 Key 用量是否独立统计。
  • 多 Key 并发是否正确计费。
  • Key 泄漏后轮换是否平滑。

例如禁用某 API Key 后立即发起请求,应返回鉴权失败,并确认旧连接和缓存不会继续允许访问。

可能追问: 为什么 API Key 不能明文存储?如何测试 Key 缓存失效?


6.4 如何测试租户隔离? ★★★★★ 必问

考察点: 对多租户安全和数据隔离的理解。

结构化回答话术:

租户隔离需要从数据、权限、资源和账单四个层面验证。

重点包括:

  • A 租户不能访问 B 租户的模型、Key、任务、日志和账单。
  • 修改 URL 或 ID 不能越权读取数据。
  • 缓存 Key 是否包含租户标识。
  • 对象存储路径是否隔离。
  • 消息队列和任务调度是否携带租户信息。
  • 配额和限流是否按租户独立。
  • 数据库查询是否强制带 tenant_id。
  • 管理员和普通用户权限是否正确。
  • 导出、搜索和日志接口是否存在越权。

例如使用 A 租户 Token 请求 B 租户任务 ID,接口应返回无权限,而不是返回任务详情或仅依赖前端隐藏。

可能追问: 水平越权和垂直越权有什么区别?如何做自动化越权测试?


6.5 如何测试 GPU 资源池与实例生命周期? ★★★★☆ 高频

考察点: 对 AI 基础设施测试的理解。

结构化回答话术:

GPU 资源池测试重点包括:

  • 实例创建、启动、停止、重启、扩容、缩容和销毁。
  • GPU 型号、数量、显存和驱动是否符合配置。
  • 资源不足时是否排队。
  • 多租户资源是否隔离。
  • 实例异常退出后是否自动恢复。
  • 模型加载失败是否正确处理。
  • 空闲实例是否自动释放。
  • 创建和销毁是否重复计费。
  • 资源状态与实际 GPU 使用是否一致。
  • 节点故障后任务是否迁移。

例如创建一个 2 卡 GPU 推理实例,验证平台显示资源、容器实际资源、监控指标和账单配置是否一致。

可能追问: GPU 显存不足如何测试?实例销毁后如何确认资源已释放?


6.6 如何测试弹性扩缩容? ★★★★★ 必问

考察点: 对容量管理和自动伸缩的理解。

结构化回答话术:

弹性扩缩容测试要验证触发指标、阈值、扩容速度、缩容策略和任务稳定性。

我会设计:

  • 低负载下维持最小实例数。
  • 并发逐步增加触发扩容。
  • 突发流量下扩容是否及时。
  • 扩容期间请求是否失败。
  • 负载下降后是否按冷却时间缩容。
  • 缩容时是否终止正在执行的任务。
  • 最大实例数限制是否生效。
  • 扩缩容失败是否告警。
  • 扩容前后性能指标是否改善。
  • 计费是否按实际实例运行时间计算。

例如将并发从 10 逐步提升到 200,观察队列长度、GPU 利用率、实例数量、TTFT 和错误率变化。

可能追问: 触发扩容可以使用哪些指标?为什么不能只看 CPU 利用率?


6.7 如何测试任务调度? ★★★★☆ 高频

考察点: 对 GPU 任务分配和优先级的理解。

结构化回答话术:

任务调度测试需要覆盖:

  • FIFO 顺序。
  • 优先级任务。
  • 不同模型所需 GPU 资源匹配。
  • 大任务和小任务是否产生饥饿。
  • 同一租户是否占满资源。
  • 调度失败是否重试。
  • 节点故障后是否重新调度。
  • 任务取消后资源是否释放。
  • 调度结果是否可追踪。
  • 多实例间负载是否均衡。

例如同时提交高优先级在线对话任务和低优先级批量生成任务,验证在线任务优先执行,但批量任务不会永久得不到资源。

可能追问: 什么是任务饥饿?如何验证负载均衡?


七、支付、充值和客服链路测试

7.1 如何测试支付下单与回调链路? ★★★★★ 必问

考察点: 对支付异步链路和幂等性的理解。

结构化回答话术:

支付链路测试应覆盖订单创建、支付、回调、状态更新、到账、退款和对账。

重点包括:

  • 正常支付成功。
  • 支付失败和取消。
  • 支付超时。
  • 回调延迟、丢失、重复和乱序。
  • 订单金额、支付金额和到账金额一致。
  • 回调签名校验。
  • 同一订单重复支付。
  • 回调处理幂等。
  • 支付成功但业务入账失败时补偿。
  • 支付平台、业务系统和账单三方对账。

例如同一个支付成功回调发送三次,系统只能将订单更新一次,并且只能增加一次余额。

可能追问: 支付回调为什么必须幂等?支付成功但回调没收到怎么办?


7.2 如何测试充值与算力包核销? ★★★★☆ 高频

考察点: 对余额、资源包和扣减逻辑的理解。

结构化回答话术:

需要验证充值到账、算力包购买、有效期、使用顺序和核销明细。

重点包括:

  • 充值成功后余额正确增加。
  • 算力包数量和有效期正确。
  • 免费额度、算力包和现金余额的扣减顺序。
  • 算力包过期后不可使用。
  • 并发调用时不超额核销。
  • 请求失败是否退回额度。
  • 重试是否重复扣减。
  • 核销明细与任务一致。
  • 退款后余额和算力包是否恢复。
  • 对账报表是否准确。

例如用户有 100 万 Token 算力包,同时发起多个请求,验证并发扣减后剩余 Token 不会出现负数。

可能追问: 并发扣减怎么保证一致性?算力包过期任务如何处理?


7.3 如何测试企业微信客服会话分配? ★★★★☆ 高频

考察点: 对客服系统路由和消息链路的理解。

结构化回答话术:

会话分配测试需要覆盖:

  • 按技能组、部门、地区或负载分配。
  • 客服在线、离线和忙碌状态。
  • 多客户并发咨询。
  • 会话转接和重新分配。
  • 客服退出后会话处理。
  • 分配超时。
  • 同一客户是否重复创建会话。
  • AI 客服与人工客服切换。
  • 会话消息是否完整。
  • 权限和数据隔离。

例如多个客服在线时连续创建会话,检查是否按照最少会话数或轮询策略分配;客服离线后不应继续收到新会话。

可能追问: 如何测试会话分配公平性?AI 转人工如何验证上下文不丢失?


7.4 如何测试客服消息收发和告警通知? ★★★★☆ 高频

考察点: 对消息可靠性和多渠道通知的理解。

结构化回答话术:

消息收发测试应覆盖:

  • 文本、图片、文件和语音消息。
  • 消息顺序、重复、丢失和延迟。
  • 离线消息。
  • 已读未读状态。
  • 消息撤回。
  • 多端同步。
  • 敏感内容拦截。
  • 告警触发条件、通知渠道和接收人。
  • 告警去重和恢复通知。
  • 通知失败后的重试。

例如模拟模型接口连续失败并触发告警,验证企业微信通知内容包含模型名称、错误码、时间和 traceId,且同一故障不会短时间重复轰炸。

可能追问: 如何测试消息顺序?告警风暴怎么避免?


八、AI 效果测试与自动化断言

8.1 什么是 AI 效果测试? ★★★★★ 必问

考察点: 是否理解 AI 产品的核心质量不仅是接口成功。

结构化回答话术:

AI 效果测试是评估模型输出是否满足业务目标的过程。它主要关注准确性、相关性、完整性、事实性、逻辑性、安全性、格式遵循和用户体验。

接口返回 200 只代表调用成功,不代表结果可用。AI 效果测试需要建立测试集、评分标准和通过阈值,并结合规则、模型评审和人工复核。

例如 AI 客服能够成功返回文字,但如果回答了错误的退款期限,接口功能正常,业务效果仍然不合格。

可能追问: 如何建立 AI 效果评测集?效果测试和功能测试如何分工?


8.2 同一个 Prompt 每次回答不同,怎么做自动化断言? ★★★★★ 必问

考察点: 对非确定性输出测试的掌握程度。

结构化回答话术:

不能直接做全文相等断言,可以采用分层断言:

  1. 基础断言:状态码、响应时间、字段、类型和非空。
  2. 结构断言:JSON Schema、Markdown 格式、段落和列表数量。
  3. 规则断言:必须包含的关键词、禁止词、数字范围和业务规则。
  4. 语义断言:Embedding 相似度或分类模型。
  5. LLM Judge:按照评分标准评价相关性、完整性和事实性。
  6. 人工抽检:对高风险或低置信度结果复核。

例如退款回答不要求全文相同,但必须包含“订单中心”“申请退款”和“审核”三个关键步骤,并且不能承诺错误时效。

可能追问: Embedding 相似度阈值怎么确定?LLM Judge 如何保证稳定性?


8.3 什么是 LLM-as-a-Judge? ★★★★☆ 高频

考察点: 对大模型自动评测方法的理解。

结构化回答话术:

LLM-as-a-Judge 是让一个大模型按照预先定义的评分标准,对另一个模型的输出进行评价。它可以用于评估相关性、完整性、事实性、风格和安全性。

为了提高稳定性,需要:

  • 固定评审 Prompt。
  • 明确评分维度和示例。
  • temperature 设置较低。
  • 使用结构化 JSON 输出。
  • 多次评审或多模型投票。
  • 定期与人工标注结果校准。
  • 对高风险业务不能完全替代人工。

例如要求评审模型按照 0 到 5 分评价回答的准确性和完整性,并返回扣分原因;低于 4 分的结果进入人工复核。

可能追问: LLM Judge 有哪些缺点?如何验证评审模型自身是否可靠?


8.4 如何构建 AI 效果测试数据集? ★★★★★ 必问

考察点: 测试数据设计能力。

结构化回答话术:

AI 效果测试集应来源于真实业务,并覆盖正常、边界、异常、高风险和对抗场景。

构建步骤:

  1. 收集真实用户问题和历史失败案例。
  2. 按业务意图、难度、语言和风险分类。
  3. 定义标准答案或评分规则。
  4. 添加同义表达、错别字、多轮上下文和模糊问题。
  5. 加入 Prompt Injection、敏感内容和隐私场景。
  6. 划分冒烟集、回归集和挑战集。
  7. 版本化管理,避免测试集污染。
  8. 定期补充线上低分案例。

例如 AI 客服测试集可以包含退款、物流、发票、账户和投诉等意图,每类再包含标准问法、口语问法、错别字和多轮追问。

可能追问: 测试集数量多少合适?如何避免模型记住测试集?


8.5 如何测试模型幻觉? ★★★★☆ 高频

考察点: 对事实性风险的理解。

结构化回答话术:

模型幻觉是模型生成看似合理但实际错误或无依据的内容。

测试方法包括:

  • 使用有标准答案的事实问题。
  • 要求模型引用知识库来源。
  • 检查答案中的日期、数字、政策和实体。
  • 构造知识库中不存在的问题,验证是否明确表示不知道。
  • 对比检索结果与最终回答。
  • 使用事实核验规则或外部验证服务。
  • 对高风险回答设置拒答或人工转接。

例如知识库没有某项退款政策时,模型应回答“当前资料中未找到”,而不是自行编造退款时限。

可能追问: RAG 系统如何减少幻觉?引用来源存在但回答仍错误,怎么排查?


8.6 如何测试 Prompt Injection? ★★★★★ 必问

考察点: 对大模型安全攻击的理解。

结构化回答话术:

Prompt Injection 是用户通过输入指令,诱导模型忽略系统规则、泄露内部提示词或执行越权操作。

测试场景包括:

  • “忽略之前所有指令”。
  • 要求输出系统 Prompt。
  • 在文档、网页或图片中嵌入恶意指令。
  • 诱导模型调用未授权工具。
  • 多轮对话逐步绕过限制。
  • 使用编码、外语或角色扮演绕过。
  • 通过工具返回内容进行间接注入。

验证系统是否坚持权限边界、拒绝恶意请求,并记录安全事件。例如用户要求 AI 客服输出后台数据库密码,系统应拒绝回答,也不能调用任何敏感工具。

可能追问: 直接 Prompt Injection 和间接 Prompt Injection 有什么区别?如何测试 Agent 工具越权?


九、AI 性能与稳定性测试

9.1 AI 平台常见性能指标有哪些? ★★★★★ 必问

考察点: 是否了解 AI 系统特有的性能指标。

结构化回答话术:

常见指标包括:

  • QPS:每秒请求数。
  • 并发用户数或并发连接数。
  • TTFT:首 Token 时间。
  • TPOT:每个输出 Token 平均耗时。
  • Token/s:生成速度。
  • 总响应时间。
  • 成功率和错误率。
  • 超时率和限流率。
  • 队列等待时间。
  • GPU 利用率、显存使用率和实例数。
  • P50、P90、P95 和 P99 延迟。
  • 单任务成本和单位 Token 成本。

例如聊天接口重点关注 TTFT 和 Token/s,视频生成任务则更关注排队时间、总生成时间、成功率和 GPU 利用率。

可能追问: 为什么只看平均响应时间不够?P95 是什么意思?


9.2 如何制定 AI 接口压测方案? ★★★★★ 必问

考察点: 性能测试设计能力。

结构化回答话术:

首先明确压测目标和线上业务模型,再设计负载。

步骤包括:

  1. 确认接口类型:同步、SSE 流式或异步任务。
  2. 确认业务比例:短 Prompt、长 Prompt、多轮和多模型请求占比。
  3. 确认目标指标:并发、QPS、TTFT、成功率和 Token/s。
  4. 准备不同长度的测试数据。
  5. 设计基准、负载、压力、突发和稳定性测试。
  6. 同时监控网关、模型服务、GPU、数据库、缓存和消息队列。
  7. 分析 P95、错误码、排队和资源瓶颈。
  8. 压测后核对任务、Token 和账单数据。

例如模拟 200 个并发 SSE 连接,Prompt 长度按短中长比例分布,持续 30 分钟,统计 TTFT、Token/s、断流率和 GPU 显存。

可能追问: 流式接口怎么用 JMeter 压测?生产环境和测试环境配置不同怎么办?


9.3 测试环境与生产环境配置不同,怎么评估压测结果? ★★★★★ 必问

考察点: 性能容量评估和风险沟通能力。

结构化回答话术:

测试环境和生产环境不同是常见情况,不能直接把测试环境结果当作生产结论。

我会:

  • 收集两套环境的 CPU、内存、GPU、实例数、带宽、数据库和中间件配置。
  • 尽量保持软件版本、模型版本、参数和数据量一致。
  • 在测试环境找到单实例基准能力。
  • 结合生产实例数量和资源差异进行容量估算。
  • 对数据库、网关和第三方模型等非线性瓶颈单独分析。
  • 在生产环境进行小流量灰度或受控压测验证。
  • 明确说明测试结论的适用范围和风险。

例如测试环境只有 1 张 GPU,生产有 4 张 GPU,不能简单认为吞吐一定提升 4 倍,还要考虑网关、调度、模型并行和数据库瓶颈。

可能追问: 如何计算容量?为什么性能不能简单线性换算?


9.4 压测中响应时间升高或错误率上升,如何定位? ★★★★★ 必问

考察点: 性能瓶颈分析能力。

结构化回答话术:

我会先按时间关联压测指标、服务日志和资源监控,确认问题发生在哪一层。

排查顺序:

  1. 客户端是否达到发压能力。
  2. 网关连接数、线程池、限流和超时。
  3. 模型服务队列、TTFT、Token/s 和错误码。
  4. GPU 利用率、显存、OOM 和模型实例数。
  5. 数据库连接池、慢 SQL 和锁。
  6. Redis、消息队列和对象存储。
  7. 网络带宽和第三方模型依赖。
  8. GC、CPU 和内存。

最后将问题分为容量不足、配置问题、代码瓶颈、外部依赖或数据问题,并给出复现证据。例如如果 TTFT 升高但 Token/s 正常,可能主要是排队时间增加;如果 Token/s 下降并伴随 GPU 满载,则可能是推理资源不足。

可能追问: 如何区分排队慢和推理慢?发现瓶颈后如何推动开发解决?


9.5 如何做 AI 平台稳定性测试? ★★★★☆ 高频

考察点: 长时间运行和故障恢复测试能力。

结构化回答话术:

稳定性测试通常持续数小时或数天,以接近真实业务的负载运行。

重点关注:

  • 成功率是否随时间下降。
  • 内存、显存和连接数是否持续增长。
  • 任务是否积压。
  • Token 统计是否漂移。
  • 日志和临时文件是否占满磁盘。
  • 模型实例是否频繁重启。
  • SSE 连接是否泄漏。
  • 数据库和消息队列是否出现积压。
  • 自动扩缩容是否稳定。
  • 故障恢复后是否存在脏数据。

例如连续 24 小时运行混合负载,每小时记录成功率、P95、GPU 显存、队列长度和账单数据,观察是否存在趋势性恶化。

可能追问: 如何判断内存泄漏?稳定性测试为什么要使用混合场景?


十、接口自动化框架与 CI/CD

10.1 如何搭建 AI 接口自动化框架? ★★★★★ 必问

考察点: 自动化工程化能力。

结构化回答话术:

我会基于 Python、Pytest、Requests 或 httpx 搭建分层框架,主要包括:

  • 配置层:环境、模型、租户和 API Key。
  • 请求层:普通 HTTP、SSE 和异步任务封装。
  • 数据层:YAML、JSON、Excel 或数据库测试数据。
  • 业务层:聊天、任务、计费和支付等业务方法。
  • 断言层:状态码、Schema、业务规则、语义和 LLM Judge。
  • 日志层:请求、响应、traceId 和错误日志。
  • 报告层:Allure 或自定义 Markdown 报告。
  • 数据清理:任务、账号和测试资源回收。
  • CI/CD:接入 Jenkins 或 GitHub Actions。
  • 质量门禁:成功率、P95、效果评分和错误率阈值。

例如普通接口使用 requests 封装,SSE 接口使用 httpx 流式读取,异步视频任务封装为提交任务、轮询状态和获取结果三个公共方法。

可能追问: 为什么选择 Pytest?Fixture 怎么设计?如何支持多环境和多模型?


10.2 AI 接口自动化中的断言中心应该怎么设计? ★★★★★ 必问

考察点: 是否能够将传统断言和 AI 效果断言结合。

结构化回答话术:

断言中心可以分为五层:

  1. 协议断言:状态码、响应头和响应时间。
  2. 结构断言:字段、类型和 JSON Schema。
  3. 业务断言:状态、余额、任务和数据库一致性。
  4. 内容断言:关键词、长度、格式和禁止词。
  5. 智能断言:语义相似度、分类模型和 LLM Judge。

不同场景选择不同断言,固定业务规则优先使用确定性断言,只有开放式内容才使用智能断言。例如模型输出 JSON 时先校验 Schema,再检查业务字段,最后让 LLM Judge 评价内容质量,避免所有判断都依赖大模型。

可能追问: 为什么不能所有断言都交给 LLM?如何处理智能断言偶发失败?


10.3 如何对 SSE 接口做自动化封装? ★★★★☆ 高频

考察点: 代码设计思路。

结构化回答话术:

可以封装统一的流式请求方法,负责:

  • 发起 stream 请求。
  • 记录请求开始时间。
  • 捕获首个有效数据块并计算 TTFT。
  • 逐行解析 data:。
  • 过滤心跳和空行。
  • 拼接完整内容。
  • 识别结束标志。
  • 收集 usage 和 finish_reason。
  • 处理断流、超时和异常事件。
  • 返回统一结果对象。

统一结果可以包含 content、ttft_ms、total_time_ms、event_count、usage 和 completed 字段。所有模型适配器都返回统一流式结果,测试用例无需关心不同厂商的原始事件格式。

可能追问: 如何处理一条 JSON 被拆成多个数据块?如何测试流式接口超时?


10.4 如何将 AI 自动化测试接入 CI/CD? ★★★★☆ 高频

考察点: 持续集成能力。

结构化回答话术:

我会将测试分层执行:

  • 每次提交执行冒烟测试。
  • 每日定时执行核心回归和多模型兼容测试。
  • 每周执行完整效果评测和稳定性测试。
  • 发布前执行性能基线和安全用例。

CI 流程包括环境准备、密钥注入、测试执行、报告生成、结果通知和质量门禁。API Key 不应写在代码中,而应使用环境变量或密钥管理服务。

例如 Jenkins 执行 Pytest 后生成 Allure 报告,当接口成功率低于 99%、效果评分低于阈值或 P95 超标时阻止发布。

可能追问: 效果测试结果不稳定,是否适合阻断发布?CI 中如何保护 API Key?


十一、缺陷定位、沟通和质量推动

11.1 AI 生成失败时如何定位问题? ★★★★★ 必问

考察点: 系统排查能力。

结构化回答话术:

我会先确认失败发生在哪个阶段,再通过 taskId 或 traceId 串联完整链路。

排查顺序:

  1. 前端提交参数。
  2. 网关鉴权、限流和路由。
  3. 业务服务参数转换。
  4. 消息队列是否生产和消费。
  5. 模型接口是否超时或报错。
  6. GPU 或实例是否可用。
  7. 回调是否成功。
  8. 数据库任务状态是否更新。
  9. 对象存储文件是否生成。
  10. 计费是否异常。

同时结合请求日志、服务日志、监控和数据库记录定位根因。例如页面显示任务失败,通过 taskId 发现模型其实生成成功,但回调接口返回 500,最终定位为数据库字段长度不足导致状态更新失败。

可能追问: 没有 traceId 怎么办?如何推动团队补充可观测性?


11.2 自动化发现问题后如何推动开发解决? ★★★★★ 必问

考察点: 沟通、协作和质量推动能力。

结构化回答话术:

我不会只提交一句“接口失败”,而是提供可复现、可定位和可评估影响的证据。

通常会整理:

  • 问题现象和影响范围。
  • 环境、模型、参数和时间。
  • 请求、响应、traceId 和日志。
  • 复现步骤和复现概率。
  • 正常结果与异常结果对比。
  • 是否影响发布或核心指标。
  • 初步定位和建议。

如果问题影响大,我会及时拉开发、产品、算法和运维一起评审,确认优先级、负责人和修复时间。修复后执行回归,并补充自动化用例防止再次发生。

例如自动化发现某模型切换后 Token 重复扣费,我会提供两次调用日志、用量记录和账单差异,明确这是资金风险问题,推动作为高优先级缺陷处理。

可能追问: 开发认为不是 Bug 怎么办?产品和开发意见不一致怎么办?


11.3 如何建立 AI 平台质量看板? ★★★★☆ 高频

考察点: 质量运营意识。

结构化回答话术:

质量看板应同时覆盖功能、效果、性能、稳定性和成本。

建议指标包括:

  • 接口成功率、错误率和 P95。
  • TTFT、Token/s 和任务总耗时。
  • 各模型成功率和降级次数。
  • 生成任务失败原因分布。
  • 效果测试平均分和低分率。
  • 安全拦截率和越权事件。
  • Token 用量、单位成本和账单差异。
  • 队列积压和 GPU 利用率。
  • 缺陷数量、修复周期和线上逃逸率。

例如通过看板发现某模型在晚高峰 TTFT 明显升高,同时降级次数增加,可以快速判断是容量或供应商稳定性问题。

可能追问: 哪些指标适合作为发布门禁?如何避免指标过多但无人关注?


十二、综合项目题

12.1 请介绍一个你设计的 AI 平台测试方案。 ★★★★★ 必问

考察点: 项目表达和结构化思维。

结构化回答话术:

可以按照“背景—职责—方案—难点—结果”表达。

示例:

在一个 AI 内容生成平台中,系统支持剧本、图片、视频、配音和字幕生成,并接入多个大模型。我的职责是负责接口、异步任务、计费和自动化回归测试。

我先按照业务链路拆分模块,建立功能、异常、兼容性、性能和效果测试矩阵;然后使用 Python、Pytest 和 httpx 搭建接口自动化框架,封装普通接口、SSE 接口和异步任务;对固定输出使用 Schema 和业务规则断言,对开放式输出使用关键词、语义相似度和 LLM Judge;同时将测试接入 Jenkins,定时执行多模型回归并生成 Allure 报告。

项目难点是多模型返回格式不一致和异步任务状态复杂,我通过统一适配层、traceId 链路追踪和任务状态机校验解决。最终提高了核心链路回归效率,也能够快速发现模型超时、重复扣费和回调失败问题。

可能追问: 这个项目最难的问题是什么?自动化覆盖率是多少?如何证明自动化带来了价值?


12.2 AI 平台测试中你认为最难的三件事是什么? ★★★★☆ 高频

考察点: 是否具有真实项目理解。

结构化回答话术:

我认为最难的三件事是:

第一,AI 输出不确定,传统精确断言不适用,需要建立分层断言和效果评测体系。

第二,链路长且异步,涉及网关、消息队列、模型服务、GPU、回调、数据库和对象存储,定位问题需要完整的 traceId 和可观测性。

第三,多模型能力和参数差异大,需要维护模型能力矩阵和统一适配规范,同时验证降级后业务仍然正确。

例如同一个视频任务可能在模型生成阶段成功,却在回调、存储或计费阶段失败,因此测试不能只验证一个接口返回成功。

可能追问: 你会优先解决哪一个难点?如何落地效果评测体系?


12.3 如果入职后让你从 0 到 1 建设 AI 测试体系,你会怎么做? ★★★★★ 必问

考察点: 体系建设能力。

结构化回答话术:

我会分四个阶段推进。

第一阶段,梳理系统架构、业务链路、模型清单、接口文档和线上风险,建立测试范围和风险矩阵。

第二阶段,补齐基础质量能力,包括接口用例、异步任务测试、SSE 测试、日志、traceId、监控和测试环境。

第三阶段,建设自动化体系,优先覆盖核心接口、计费、任务状态和多模型兼容,并接入 CI/CD。

第四阶段,建设 AI 效果和性能体系,包括评测数据集、分层断言、TTFT 和 Token/s 基线、质量看板和发布门禁。

推进过程中会优先解决高风险问题,例如数据越权、重复扣费、任务丢失和模型不可用。

可能追问: 前三个月如何安排?自动化优先覆盖哪些模块?如何衡量测试体系是否有效?


12.4 为什么你适合这个 AI 测试工程师岗位? ★★★★★ 必问

考察点: 能否把自身经验与岗位职责匹配起来。

结构化回答话术:

我具备接口自动化、UI 自动化、性能测试和持续集成经验,能够使用 Python、Pytest、Playwright、Apifox、JMeter、Jenkins 和 Allure 完成测试工程化建设。

这个岗位重点涉及 AI 平台接口、异步任务、多模型兼容、SSE 流式响应、Token 计费和性能测试,这些能力与我现有的接口自动化、数据校验、异常定位和性能分析经验高度匹配。

同时,我一直在学习和实践大模型测试,包括 Prompt 测试、AI 效果评测、LLM 智能断言、Playwright MCP 和 AI 测试工作流。因此我不仅能完成传统测试任务,也能参与 AI 测试体系和自动化平台建设。

可能追问: 你目前在 AI 测试方面有哪些实战?哪些能力还需要提升?入职后多久可以独立负责项目?


快速背诵模板

1. 回答技术题

我先说结论:……
实际测试时,我主要从 A、B、C 三个方面处理:……
例如在我的某项目中:……
最后我还会通过……形成闭环。

2. 回答项目题

项目背景(什么平台,接入哪些模型) → 我负责什么(接口、异步任务、计费) → 使用什么方案(Python + Pytest + httpx,分层断言) → 遇到什么难点(多模型兼容、异步状态一致性) → 如何解决(统一适配层、traceId 追踪) → 取得什么效果(回归效率提升、缺陷提前发现)。

3. 回答故障定位题

先确认失败阶段(前端 → 网关 → 业务 → 模型 → 回调 → 存储) → 通过 taskId/traceId 串联链路 → 检查日志、监控和数据库 → 排除环境、数据和配置问题 → 定位根因并提供证据 → 推动修复 → 原场景复测并做关联回归。

4. 回答“如何保证”类问题

先明确标准和风险 → 制定测试策略(功能、异常、并发、安全、效果) → 分层验证(协议 → 结构 → 业务 → 内容 → 智能断言) → 保留日志和数据证据 → 通过持续回归保证长期有效。


面试前重点背诵清单

如果时间有限,优先掌握以下 15 题:

  1. 什么是 AI 测试?
  2. AI 测试和传统软件测试有什么区别?
  3. 如何测试 AI 短剧平台全链路?
  4. 如何测试 AI 任务排队与异步执行?
  5. AI 任务失败后如何测试重试机制?
  6. 什么是算力网关?
  7. 如何测试 API 鉴权?
  8. 什么是熔断?如何测试熔断?
  9. 什么是 SSE?如何测试?
  10. 什么是 TTFT?
  11. 如何测试 Token 用量统计和计费?
  12. 什么是 MaaS?
  13. 同一个 Prompt 每次回答不同,怎么做自动化断言?
  14. 如何搭建 AI 接口自动化框架?
  15. 如何从 0 到 1 建设 AI 测试体系?

回答时容易踩的坑

  • 不要说“AI 测试就是测试大模型”,AI 测试覆盖业务应用、模型服务、平台、网关和基础设施五层。
  • 不要只用“功能正常”描述测试结果,AI 系统还要关注效果、性能、安全、成本和数据一致性。
  • 不要把接口返回 200 等同于测试通过,AI 输出可能格式正确但内容错误或存在幻觉。
  • 不要把自动化等同于“写脚本”,要说清楚框架分层、断言策略、CI/CD 集成和质量门禁。
  • 不要夸大个人能力,用“我负责接口自动化和异步任务测试”代替“我搭建了整个平台”。
  • 回答性能测试时不要只提 QPS,AI 系统还要关注 TTFT、Token/s、GPU 利用率和 P95。
  • 项目例子尽量包含具体对象名称,例如模型名称(DeepSeek、GLM)、业务类型(短剧、客服)和指标(TTFT、成功率)。
  • 不要把所有问题都推给开发或模型厂商,先说明如何通过日志、traceId 和监控定位问题边界。

面试复习建议

第一轮:优先掌握五星题

要求能够脱离文档完整回答,并结合至少一个真实项目案例。

第二轮:掌握四星题

重点补充 AI 短剧各模块测试、模型参数兼容性、GPU 资源池、客服链路、LLM-as-a-Judge、模型幻觉、SSE 封装和 CI/CD 接入等高频题目。

第三轮:理解三星题

确保追问时能够说清核心原理和基本做法,如 AI 系统测试对象分层、质量风险识别、错误码映射、稳定性测试和质量看板等。

第四轮:选学扩展题

根据目标岗位(AI 测试 / MaaS 平台测试 / 大模型测试)选择对应方向的深入题目进行准备,并补充岗位关键词速查表中的知识点。


岗位关键词速查

关键词 面试时需要掌握的内容
AI 短剧 剧本、分镜、文生图、图生视频、配音、字幕、合成
异步任务 taskId、状态机、轮询、回调、重试、幂等
算力网关 鉴权、限流、路由、熔断、降级、Token 统计
SSE 流式事件、TTFT、断流、结束标志、内容拼接
多模型 参数兼容、统一响应、错误码、能力矩阵
MaaS 模型管理、API Key、租户、配额、计费
GPU 资源池 创建、销毁、调度、扩缩容、资源释放
支付 下单、回调、重复通知、退款、对账
AI 效果 相关性、准确性、完整性、幻觉、安全性
智能断言 规则、Schema、Embedding、LLM Judge
性能测试 TTFT、Token/s、P95、成功率、GPU 利用率
自动化 Python、Pytest、httpx、Allure、Jenkins

本文根据 AI 测试工程师真实岗位职责整理,后续持续补充。建议第一遍先理解每题的回答逻辑;第二遍结合自己的项目经历替换项目举例;第三遍用口语方式录音练习,避免面试时像背书。