Veo 参考图像 API 教程:从资产到视频

E
Emma Chen·阅读约 2 分钟·Sep 12, 2026
分享到 X
Veo 参考图像 API 教程:从资产到视频

AI Overview

Veo API 最多可使用多少张参考图像?

Veo 3.1 最多支持为一个人物、角色或产品提供三张参考图像。请选用一组数量少但内容连贯的图像,清晰展现身份特征、材质质感与整体形态,而非三张彼此无关的构图。

参考图像是否等同于首帧与末帧?

否。referenceImages 用于引导主体或风格的一致性,而 image 指定视频首帧,lastFrame 则约束视频末帧。请根据需固定的内容选择其中一种模式。

哪些 Veo 模型支持参考图像?

Google 当前的 Gemini API 文档明确指出,参考图像功能仅适用于 Veo 3.1 和 Veo 3.1 Fast,不适用于 Veo 3.1 Lite 或 Veo 3.0。使用参考图像生成的视频时长固定为八秒。

API 集成应保存哪些信息?

应保存输入的素材 ID、标准化后的提示词(prompt)、所用模型与配置、操作名称、最终生成文件及审核结果。该记录可确保失败镜头具备可复现性,避免每次重试都沦为盲目猜测。

编码前先选择参考模式

Veo 参考图像 API 教程 的实际重点,并非仅限于发送 base64 数据。开发者需明确:哪种视觉控制方式最契合当前镜头需求;哪些字段应协同使用;当输出忽略某项产品细节或偏离角色设定时,如何有效恢复。

一位银发骑士骑乘钴蓝色摩托车、停驻于壮丽海岸边的电影级成片概念图

本指南专为阐释而设计的新参考图像组概念。骑士形象、藏红花色夹克、琥珀色眼镜与钴蓝色摩托车共同构成清晰的连续性锚点;此图并非作为 Veo 基准测试示例呈现。

请首先从以下三种模式中择一:

目标 API 输入 最佳适用场景
将精确的起始构图动画化 image 静态图像应直接成为视频首帧
连接两个已设计好的构图 imagelastFrame 镜头必须严格始于并止于指定帧
保持人物、角色或产品的辨识度 referenceImages 场景可变化,但核心资产须持续可识别

区别至关重要。将人物肖像置于 referenceImages 中仅起引导作用,并不保证首帧渲染结果会逐像素复现该肖像;反之,起始 image 虽锁定初始构图,却无法提供三个独立的身份视角。切勿在提示词中混用不同概念,再将约束选择错误归咎于 API。

Google 当前的 Gemini API 表格说明:referenceImages 在 Veo 3.1 和 Veo 3.1 Fast 上最多支持三个 VideoGenerationReferenceImage 对象;Veo 3.1 Lite 不支持该字段。参考图像请求仅生成单个视频,时长固定为八秒,支持横屏或竖屏格式,并可在完整版 Veo 3.1 路由中以 720p、1080p 或 4K 分辨率生成。更高分辨率将增加延迟与成本,因此请在规模化交付前验证镜头合约要求。

如需在构建端点前获得更全面的接口层级说明,请参阅 Google Flow 与 Veo 工作流指南

准备参考图像与提示词

构建一套连贯的素材集

所选参考图像应在身份特征上保持一致。一套实用的三图组合可包含:一张清晰展现面部与着装的正面视图、一张突出产品几何结构的视图,以及一张必须保留的小型配饰特写。请确保各图在色温、镜头畸变与比例关系上相互兼容。若一张图展示钴蓝色摩托车,另一张却呈现海军蓝底盘的不同车架,则提示词将无法可靠判断哪一几何结构为权威基准。

一张自然的角色参考肖像,展现银发骑士、藏红花色夹克与琥珀色眼镜

角色参考:重点观察面部轮廓、发丝剪影、夹克拼接结构及琥珀色镜片。一张清晰可辨的参考图,远胜于戏剧性强但细节模糊的肖像。

一张场景化产品参考图,展示钴蓝色电动摩托车,同时呈现夹克与眼镜

产品参考:在雨后中性光照下,完整呈现车轮几何结构、车架轮廓、钴蓝色面板、夹克与眼镜。

请在发起付费请求前完成图像预处理。确认 MIME 类型,拒绝空文件,执行一次解码以检测损坏,并保持原始宽高比——除非您的处理流程明确需要裁剪。请存储校验和及内部素材 ID。Base64 编码会增大请求体积,因此应避免反复对过大原图进行编码;只要尺寸适配的衍生图能保留所有可见细节,即为更优选择。

编写具备“保留意识”的提示词

一份优质提示词需向 Veo 明确说明“发生什么”以及“哪些要素必须保持稳定”。建议采用以下可复用结构:

中景跟拍镜头。银发骑士身着藏红花色夹克,骑乘哑光钴蓝色摩托车,沿湿润的滨海公路迎着日出前行。需保留其面部特征、短发波波头轮廓、琥珀色护目镜、夹克拼接结构、摩托车车身几何形态、车轮数量及钴蓝色表面质感。海浪飞沫自然运动;摄像机平行跟拍,不作环绕运镜。音效包含原生风声、轮胎声与远处海浪声;无对白、无文字、无标识。使用可见特征(而非文件名)来指代参考图像。每个八秒镜头仅保留一个主要动作和一个摄像机运动。相互矛盾的指令(例如“固定镜头”与“快速环绕”)会产生协调问题,任何参考图像都无法解决。图像转视频提示指南 提供了一种紧凑的“主体-动作-摄像机-保留”模式,可供复用。

发送一条 Veo 3.1 请求

在 JavaScript 中创建资产引用

在当前 @google/genai SDK 版本中,将每张已准备好的图像表示为一个包含 imageBytesmimeType 字段的对象,并用 referenceType: 'asset' 将其封装。该 SDK 会从您的环境变量中读取 API 密钥;请始终将其保留在服务器端,切勿置于浏览器端的 JavaScript 中。

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});
const assets = [riderImage, motorcycleImage, glassesImage].map((image) => ({
  image,
  referenceType: 'asset',
}));

let operation = await ai.models.generateVideos({
  model: 'veo-3.1-generate-preview',
  prompt,
  config: {
    referenceImages: assets,
    aspectRatio: '16:9',
    durationSeconds: 8,
    resolution: '720p',
  },
});

字段名称可能因 Gemini API 与 Vertex AI 接口而异,因此请锁定所用 SDK 的具体版本,并依据您实际部署的端点查阅官方文档进行验证。切勿将第三方封装库的 JSON 结构直接复制到 Google 端点中。请记录脱敏后的请求清单,而非完整 base64 负载。

首次验收测试请使用 720p 分辨率。待身份、运动、摄像机及音频均通过后,再以所需交付分辨率重复执行已批准的配置。若您的应用需跨多个服务商路由请求,聚合器与直连 API 对比指南 阐明了为何标准化作业记录比依赖服务商特定 UI 的记忆机制更可靠。

轮询、下载并存储输出

Veo 视频生成为异步操作。初始调用返回的是一个长期运行的操作对象,而非最终 MP4 文件。请使用合理的轮询间隔,按操作名称轮询,并在设定的超时上限内停止;同时持久化保存操作 ID,以便工作进程重启后可恢复执行,而非重复提交任务。

while (!operation.done) {
  await new Promise((resolve) => setTimeout(resolve, 10_000));
  operation = await ai.operations.getVideosOperation({ operation });
}

const generated = operation.response.generatedVideos[0];
await ai.files.download({
  file: generated.video,
  downloadPath: `outputs/${jobId}.mp4`,
});

Google 当前在其服务器上保留生成视频的时间为两天,因此请尽快将视频下载至您可控的存储系统中。请验证文件是否存在、长度非零、可成功解码为视频格式,且时长符合预期。另保存一帧海报图用于人工审核,但切勿将海报图视为整段动态内容质量合格的证据。

Veo 3.1 电影级视频示例,适用于全片段审查

请完整观看视频,检查身份、环境、摄像机与音频的连续性。一段动态影像会暴露单张精美画面所掩盖的问题。

验证一致性并处理失败情况

使用固定验收网格进行审查

以正常速度逐条审阅各输出结果,并在运动最复杂的片段附近再次回看。每次均依据相同标准判定“通过”、“修订”或“拒绝”:

审查维度 通过条件 针对性修正方式
身份 面部、发型、服饰及配饰始终保持可识别性 替换薄弱或存在冲突的人像参考图
产品 轮廓、面板、车轮及材质保持一致且合理 使用更清晰的全产品参考图,并简化运动设计
摄像机 仅执行一项指定运动,地平线稳定、构图稳定 移除相互冲突的摄像机动作指令
动作 主体运动连贯、符合物理规律且易于理解 减少动作数量或降低运动速度
音频 声音匹配场景与动作,且无意外语音 明确指定声源,并显式排除对话内容
结尾 最终帧可用于剪辑衔接或延续叙事 约束结尾动作,或改用插值模式

同一骑手与摩托车在蓝调时刻悬崖观景台的替代成片构图

该替代构图改变了时间与画面 framing,但保留了相同的连续性锚点。可借助此类帧判断资产身份是否经得起场景变更考验。

若所有输出均丢失同一特征,则参考图或提示词层级很可能有误;若失败表现随机,则应先保持输入不变并重试,再考虑全面重写;若构图必须精确终止于某张预设图像,请改用 imagelastFrame 参数,而非在 referenceImages 中追加更多保留类描述语言。

Seedance 产品运动输出,用于对比几何结构与受控摄像机行为

此为不同模型与镜头类型的输出,作为真实运动审查示例提供,而非 Veo 性能基准。请沿用相同的几何与摄像机评估标准。

请区分服务商错误与创意性失败。身份认证失败、配额耗尽、MIME 类型无效、配置不被支持、安全过滤拦截、超时,以及虽完成但不可用的视频片段,均需采取不同应对策略。仅对临时性的传输或服务错误自动重试;而被拒的提示词或视觉效果不佳的结果,应交由人工复核,切勿陷入无限付费重试循环。在最终导出前,请参照AI 视频帧率指南确认交付节奏,因为生成的 24 fps 与平台交付设置虽有关联,但并非可互换的决策。

将其整合进 Seedance Agent 工作流

原始 Veo API 适用于开发者已自行管理素材存储、提示词版本控制、操作轮询、审批流程及重试策略的场景。当实际任务需跨越多个调用步骤时,Seedance Agent 更具价值:例如将创意简报转化为分镜列表、为参考素材分配角色、按镜头选择支持的模型、审核真实输出结果,并仅重跑失败片段。

以骑手序列为例,智能体可一次性注册人像、摩托车和眼镜三类素材;将沿海跟拍镜头与蓝调时刻收尾镜头分别创建为独立任务;保持二者保存规则一致;并同时向审批方开放两个成片。API 始终作为生成层存在,而智能体则承载制作状态。此举可减少意外重复请求,并防止后期提示词修改悄然改变权威素材集。

应以“每秒获批成片”为成本衡量单位,而非完成请求数量。借助Seedance 2.5 与 Veo 3.1 对比分析,从身份稳定性、可用结尾质量、审核耗时及重跑次数等维度,对比 Veo 3.1 与其他路径的表现。目标并非强制所有镜头均使用单一模型,而是以最少的、本可避免的修订次数,交付风格统一的完整序列。

结论

一套可靠的 Veo 参考图像 API 集成方案,始于选择恰当的控制模式,准备最多三张逻辑连贯的参考素材,撰写一条清晰描述运镜与保留要求的提示词,提交有效的 Veo 3.1 请求,持久化长期运行的操作,于保留期截止前完成下载,并依据固定评估标准全面审阅成片。请将临时性 API 重试与创意性重跑严格区分;当精确起止帧比灵活的素材引导更重要时,切换至首尾帧插值模式;若项目涉及分镜规划、共享参考、模型路由、审批流程及围绕 API 调用的选择性重跑,则请从 Seedance Agent 开始构建工作流 →

准备好亲自试试了吗?

在 Seedance 中实践本指南的步骤,几分钟内将提示词或图片变成精致视频。

注册即送免费积分,套餐每月 $20 起。