视频数据标注 & 评测专家 / 负责人

Department: Moment AI

Location: San Francisco Bay Area

Employment Type: FullTime

岗位职责

视频标注

• 设计并落地各类视频标注任务与规范:caption(prompt 与视频内容对齐)、动作(action)、场景(scene)、风格、镜头 / 运镜、时序一致性、ranking / preference、badcase 分类等。

• 搭建标注质检体系:gold set、抽检、多轮 review、一致性(IAA)、reviewer 校准,保障大批量标注质量稳定可迭代。

• 管理标注供应商 / 众包团队,控制交付质量、一致性与返工。

• 根据模型 badcase 持续迭代标注规范(guideline)与标准。

视频评测

• 搭建视频生成评测体系:评测集 / benchmark 构建,评测维度与指标设计(画质、动作自然度、时序一致性、prompt 匹配度、坏帧 / 变形 / 闪烁等),人工 + 自动评测结合。

• 建立 badcase 分类与回流机制,把评测结果转化为可执行的数据补充和标注规范调整。

• 支持多版本模型对比,跟踪数据使用效果与模型改进。

协同

• 与算法团队对接,理解 PT / SFT / RLHF / Eval 各阶段对数据的不同要求,推动数据标准持续迭代。

任职要求

• 3 年以上相关经验,做过视频 / 图像 / 多模态数据的标注或评测(非纯文本 NLP)。

• 亲手做过相关工作,能清楚讲解不同视频标注任务之间的差异和具体做法。

• 熟悉标注质检体系,在 gold set、抽检、IAA、reviewer 校准等机制上至少有一套实操经验。

• 有与算法团队协作、推动 badcase 回流的经验。

• 较强的流程梳理与跨团队沟通能力。

加分项

• 直接做过视频生成 / T2V / VLM / 多模态模型的训练数据或评测。

• 理解 SFT / RLHF,清楚偏好数据与 ranking 在其中的作用。

• 管理过标注供应商 / 众包 / 专家团队,并能把控交付质量。

• 有从 0 到 1 搭建标注或评测流程的经验。