AI API 集成方案应说明该功能如何融入您的工作流程、当服务提供商或模型无法响应时会发生什么,以及您的团队如何控制访问权限、使用量、成本和日志。比较方案时,应要求对方提供具体的实施细节和测试,而不是接受“安全”或“可扩展”等笼统承诺。
明确工作流程及其故障处理方式
说明 AI 必须执行的任务、由谁发起、会接收哪些信息,以及您的产品如何处理结果。例如,应区分由员工审核的草稿和直接展示给客户的答复。这一区别会影响审批步骤、错误处理方式以及需要进行的测试。
要求每家供应商梳理从用户操作到结果返回的完整路径,包括应用或后端、AI 服务提供商、任何数据检索步骤,以及用户界面。明确哪些输入可能包含个人信息、机密信息或商业敏感信息,并商定哪些信息可以发送给服务提供商。如果系统需要管理员视图或角色控制,请确认这些功能属于集成范围,还是应由单独的管理面板和后端提供。
方案还应说明:请求超时、被拒绝、返回无法使用的答案,或因达到服务提供商限额而无法发送时,用户会看到什么。可选做法包括提供明确的重试选项、非 AI 备用方案、保存草稿,或转交给工作人员处理。合适的方案取决于具体工作流程;应要求供应商明确说明,而不要假设 AI 总能完成任务。
明确密钥管理和访问权限
要求对方书面说明服务提供商凭据的存储位置、哪些应用组件可以访问这些凭据,以及如何确保凭据不会出现在公开的客户端代码、源代码仓库和常规日志中。询问团队将如何区分开发环境和生产环境的凭据、如何将访问权限限制给确有需要的人员和系统,以及在密钥泄露或访问权限发生变化时如何更换密钥。
同时明确所有权:使用谁的服务提供商账户、由谁管理账单和账户访问权限,以及交接时如何处理凭据。不要在方案文档或普通项目消息中发送有效密钥。应商定实施期间提供密钥的安全方式,并要求供应商记录相关流程,但不得在文档中复现密钥值。
可信的答复应描述实施和交接步骤,而不只是贴上“安全”的标签。AI API 集成服务将安全密钥管理列为可能的集成范围之一;请确认这一点如何适用于您拟采用的模型、环境和所有权安排。
要求设置限额、成本控制和实用日志
要求在 AI 服务提供商和应用两个层面设置控制措施。服务提供商账户限额有助于限制或提醒总体使用量,而应用控制则可限制哪些人可以发起请求、请求频率以及输入大小。请确认所选服务提供商实际提供哪些控制措施,以及哪些措施必须在您的系统中构建。
成本估算应注明其依据,包括预计请求量、典型输入和输出大小、模型或服务的选择、重试次数,以及纳入估算的任何其他服务提供商费用。询问接近或达到约定使用阈值时会发生什么、谁会收到提醒,以及系统会暂停、排队、以降级方式继续运行,还是需要管理员批准后才能继续使用。任何估算都应注明所依据的价格信息和日期;在作出承诺前,请直接核实服务提供商当前的定价。
日志有助于排查故障和调查异常使用情况,但记录完整提示词和回复可能会暴露敏感信息。请明确要记录哪些事件和字段、谁可以查看、记录保留多长时间,以及提示词或回复内容是否会被排除、屏蔽,或仅在必要时存储。要求供应商区分应用日志、服务提供商侧记录,以及任何用量或账单仪表板。
| 应写入需求说明的要求 | 方案应明确的内容 | 验证方式 |
|---|---|---|
| 密钥存储和访问权限 | 存储位置、访问角色、环境隔离、轮换或更换流程,以及交接时的所有权 | 审查部署设计和访问权限设置;确认客户端代码、仓库历史记录或示例日志中均未出现密钥 |
| 使用量和成本限额 | 适用的服务提供商和应用控制措施、达到阈值时的处理方式、提醒机制,以及成本计算所依据的假设 | 按约定限额演练测试;检查相关设置或仪表板,并确认系统按预期响应 |
| 日志和数据处理 | 记录的事件和字段、访问权限、保留期限,以及提示词和回复内容的处理方式 | 触发测试请求并检查示例日志,确认其包含有用的诊断信息,且未意外包含敏感内容 |
| 故障处理方式 | 超时、服务提供商错误、请求被拒绝、输出无法使用以及达到限额时的处理方式 | 运行约定的故障场景,并确认面向用户的结果和任何转交工作人员处理的流程 |
| 测试和交接材料 | 交付内容中包含的测试用例、验收证据、源代码和运维文档 | 验收工作前审查测试结果和交接材料 |
比较方案前,先确定测试和验收标准
将需求转化为可观察的通过或失败检查项。应包括正常请求、缺失或格式错误的输入、服务提供商不可用、请求超时、服务提供商拒绝请求、回复无法使用、触发使用限额,以及未获授权的用户尝试操作等情况。如果系统要求由人员审核输出,也要测试这一审批环节。
针对每种情况,明确预期的用户体验、是否会重试请求、会记录哪些信息,以及任何成本或用量计数器是否会变化。要求供应商说明将如何测试集成、会提供哪些证据,以及哪些内容不在范围内。避免采用“AI 运行良好”之类的标准;应明确输出格式、必填字段、不确定性的处理方式,以及何时必须由人工审核结果。
按照相同的工作流程、控制措施和验收标准比较方案。范围较小的报价可能不包含监控、管理员控制、故障处理路径或交接文档,因此应要求对方书面列出不包含的内容和相关假设。确认交付是否包含源代码、文档、测试和上线支持,并明确团队必须负责哪些持续性的服务提供商账户管理或维护工作。
常见问题
AI API 密钥应该存储在移动应用还是浏览器中?
要求供应商解释系统架构,以及如何防止凭据暴露给最终用户。不要认为将密钥隐藏在应用或浏览器中就能确保其私密;应要求方案明确说明由哪个受信任组件向服务提供商发出请求,以及如何限制访问权限。
我们应该记录提示词和 AI 回复吗?
不应默认这样做。日志应能支持故障排查和用量审查,同时符合您的数据处理要求。请商定哪些字段确有必要、内容是否会被排除或屏蔽、谁可以访问记录,以及记录保留多长时间。上线前,应使用具有代表性的数据测试最终生成的日志。
如何公平地比较成本估算?
向每家供应商提供相同的用量假设,并要求其列出计算方法、所选服务提供商或模型、包含的费用、重试假设和价格参考日期。应将结果视为估算,而非保证,并向服务提供商确认当前价格和账户控制措施。
准备项目需求说明时,请提供 AI 任务和用户旅程、目标应用或系统、(如已知)首选服务提供商、预计用量假设、涉及的数据类型、所需限额和提醒方式、日志偏好、测试用例,以及服务提供商账户的负责人。还应说明相关的现有架构、访问角色和交接需求。然后讨论需求,以明确拟定的范围。
