具身智能数据集与 “数据工厂” 建设研究报告

作者单位：泷码软件（上海）有限公司、泷码软件研究院、泷码首席数据官（CDO）平台 摘要 具身智能是人工智能从感知智能、认知智能走向物理世界交互智能的核心方向，其本质是让智能体依托硬件载体在真实物理环境中完成感知、推理、规划、操作与试错闭环，而高质量、场景化、可泛化的数据集，是支撑具身智能算法迭代、模型训练、能力验证的核心底座。当前行业普遍面临真实物理数据采集成本高昂、危险场景难以复现、样本分布不均衡、跨硬件迁移性差、标注标准不统一等共性瓶颈，单一数据源已经无法满足灵巧手操作、移动机器人、人机协同、多模态物理交互等复杂任务的训练需求。本报告围绕具身智能 “数据工厂” 的建设逻辑，系统阐释 “真机遥操 + 灵巧手采集 + 仿真数据” 三层数据供给体系的架构设计、技术路径、生产流程、质量管控机制、价值边界与落地挑战，梳理三层数据之间的融合对齐、跨域迁移、闭环迭代范式，剖析数据工厂在数据标准化、自动化采集、自动标注、数据净化、版权治理、安全合规等方面的关键模块，结合行业应用场景研判该体系对具身大模型、通用机器人、灵巧操作智能体产业化的支撑作用，同时客观分析仿真域与真实域之间的域偏移、遥操数据效率瓶颈、灵巧手采集标定成本等现实问题，并提出阶段性演进路线与优化方向。本报告旨在为具身智能数据基础设施建设、数据资产运营、模型训练管线搭建提供理论参考与工程实践框架。

关键词：具身智能；数据工厂；灵巧手；遥操作；仿真数据；多模态数据集；域自适应；机器人数据资产

目录

1. 绪论 1.1 研究背景 1.2 研究意义 1.3 国内外研究与产业现状 1.4 研究范围与核心定义

2. 具身智能的数据本质与数据集底座价值 2.1 具身智能区别于大语言模型的数据特征 2.2 具身智能数据集的核心构成要素 2.3 数据集质量对具身智能能力的约束机制 2.4 传统数据采集模式的局限性

3. 具身智能 “数据工厂” 总体架构与运行范式 3.1 数据工厂的定位与核心目标 3.2 数据工厂顶层架构：生产层、治理层、资产层、服务层 3.3 数据工厂闭环生产管线：需求定义 — 采集生产 — 标注校验 — 对齐融合 — 入库治理 — 模型反馈 3.4 数据工厂的组织、算力与工具支撑体系

4. “真机遥操 + 灵巧手采集 + 仿真数据” 三层供给体系详细解析 4.1 第一层：真机遥操数据供给体系 4.1.1 真机遥操数据的内涵与适用场景 4.1.2 遥操作采集硬件与通信链路方案 4.1.3 遥操作多模态数据采集维度 4.1.4 遥操数据采集流程与人机协同机制 4.1.5 真机遥操数据优势与固有短板 4.2 第二层：灵巧手采集数据供给体系 4.2.1 灵巧手数据的任务属性与独特价值 4.2.2 灵巧手标定、力控、触觉传感的数据维度 4.2.3 灵巧手自动化采集与任务脚本设计 4.2.4 灵巧手数据的标注难点与对齐方法 4.2.5 灵巧手采集数据的适用边界 4.3 第三层：仿真数据供给体系 4.3.1 仿真数据在具身智能中的定位 4.3.2 物理引擎、渲染引擎与数字场景构建 4.3.3 仿真数据自动化生成、增强、扰动注入机制 4.3.4 仿真域随机化技术（Domain Randomization）实现路径 4.3.5 仿真数据优势与仿真 - 真实域偏移核心难题 4.4 三层供给体系协同逻辑与互补关系 4.4.1 三层数据的互补矩阵 4.4.2 分层配比策略：不同任务下的数据组合方案 4.4.3 跨层数据对齐、时间戳同步、坐标系统一标准

5. 三层数据融合、净化与质量管控体系 5.1 多源异构数据统一元数据规范 5.2 数据清洗、去重、异常样本过滤机制 5.3 自动化标注 + 人工复核混合标注流水线 5.4 具身数据集质量评价指标体系 5.5 难例挖掘与主动采样闭环机制 5.6 时序一致性、物理一致性校验规则

6. 数据工厂的数据资产化、安全与合规治理 6.1 具身智能数据资产确权、目录与版本管理 6.2 隐私保护：场景脱敏、人体信息剥离、操作主体匿名化 6.3 版权风险：仿真资产、实物场景、第三方模型素材管控 6.4 数据出境、训练数据使用、模型蒸馏衍生数据合规要点 6.5 数据访问权限、分级管控、审计追溯体系

7. 三层供给体系典型应用场景与落地案例推演 7.1 场景一：通用灵巧操作任务（抓取、放置、装配、分拣） 7.2 场景二：移动具身智能体室内导航与交互任务 7.3 场景三：人机协同工业柔性装配场景 7.4 场景四：危险、高成本场景（防爆、高温、危险品操作） 7.5 场景五：家用服务机器人日常交互任务

8. 当前技术瓶颈、产业痛点与风险研判 8.1 仿真到真机的域迁移瓶颈，泛化能力不足 8.2 灵巧手触觉、力觉数据采集成本高、标准化缺失 8.3 真机遥操人力成本高、采集效率上限低 8.4 具身数据集基准测试集匮乏，缺少统一行业标准 8.5 数据工厂算力、场景搭建、硬件迭代带来持续投入压力 8.6 算法模型迭代对数据分布动态变化带来的管线适配压力

9. 具身智能数据工厂与三层供给体系演进路线 9.1 短期阶段：标准化管线搭建，三层数据源打通与基础对齐 9.2 中期阶段：主动数据生成、难例自动挖掘、自适应数据配比 9.3 长期阶段：自驱动具身智能体自主探索采集，数据工厂从 “人工驱动” 转向 “智能自驱” 9.4 配套生态：共建开放基准数据集、跨厂商数据接口规范

10. 结论与展望 10.1 核心研究结论 10.2 产业发展展望 10.3 后续重点研究方向 数据来源 免责声明

具身智能数据集与 “数据工厂” 建设研究报告

作者单位：泷码软件（上海）有限公司、泷码软件研究院、泷码首席数据官（CDO）平台

1. 绪论

1.1 研究背景

大语言模型的快速成熟，打通了人工智能的语言理解、逻辑推理、指令规划能力，但是语言模型本身不具备物理世界的感知约束、物理交互经验，无法直接理解重量、摩擦力、形变、空间遮挡、接触反馈等物理属性。具身智能（Embodied AI）正是补齐这一短板的技术赛道：智能实体依托机器人、灵巧手、移动底盘、传感器等硬件载体，在真实或者仿真物理环境中接收视觉、深度、触觉、力觉、惯性等多模态信号，根据高层指令完成序列化物理动作，在与环境交互的试错过程中学习物理常识、操作范式与环境规律。

在整个技术链条中，算力、算法、数据是三大支柱。当前 Transformer、扩散策略、行为克隆、强化学习、视觉 - 语言 - 动作统一模型等算法框架持续迭代，机器人硬件、灵巧手、高速相机、触觉传感器成本持续下行，行业共识逐步形成：高质量具身数据集，已经成为制约通用具身智能落地的核心瓶颈。与文本、图像数据集不同，具身智能数据是时序多模态耦合数据，单一条样本往往包含连续视频流、深度图、点云、关节角度、触觉阵列、力传感器读数、动作指令、奖励标签、场景参数、物体属性等大量关联信息，样本生产链条长、标定复杂、单样本成本远高于静态图像。

早期行业实践大多采用零散采集模式：研究团队自行搭建小场景，人工控制机器人采集少量数据，数据集封闭、规模有限、场景单一、标注规范不一，无法支撑通用操作模型的持续迭代。为解决规模化供给问题，产业端开始探索 “具身智能数据工厂” 模式，将数据生产工程化、流水线化，把数据从零散科研产物转变为可持续供给、可治理、可复用的标准化数据资产。在此背景下，真机遥操 + 灵巧手采集 + 仿真数据三层供给体系逐步成型，成为当前数据工厂主流的生产架构。真机遥操保证数据贴合人类真实操作范式，灵巧手采集聚焦精细接触交互的触觉与力控数据，仿真数据解决规模、多样性、危险场景、极端样本供给问题，三者互相补充，共同构成具身智能的核心数据底座。

1.2 研究意义

理论层面，本报告厘清具身智能多源异构数据的耦合逻辑，建立三层数据源的协同框架，区分不同数据源在行为克隆、强化学习、域自适应、仿真到现实迁移（Sim2Real）中的差异化作用，弥补现有研究中偏重算法、对数据生产体系系统性论述不足的缺口，建立一套从需求、生产、质控、融合到资产运营的完整理论框架。

工程层面，报告提供可落地的数据工厂建设方案。对于机器人企业、通用具身模型研发团队、工业柔性自动化服务商，三层供给体系可以指导团队合理分配采集资源，平衡采集成本、数据真实性、样本多样性，避免单一依赖真机采集带来成本爆炸，或者单纯依赖仿真数据带来泛化失效的极端问题，降低具身模型的试错成本，缩短迭代周期。

产业层面，具身智能数据工厂本质是具身智能时代的新型基础设施。标准化的数据供给体系能够推动行业数据接口、元数据、评价指标逐步收敛，减少重复造轮子，推动数据资产流通、基准测试集共建，加速通用机器人、灵巧操作智能体从实验室走向工业、商业、家庭场景。

治理层面，依托泷码首席数据官（CDO）平台的治理经验，报告将数据安全、版权、隐私、数据版本、溯源审计嵌入数据生产全流程，为高敏感场景、工业场景、人机交互场景下的数据合规提供治理范式。

1.3 国内外研究与产业现状

国际上，谷歌 DeepMind、OpenAI、特斯拉 Optimus 团队、波士顿动力、Meta AI、英伟达等机构是具身智能数据体系的先行者。英伟达依托 Isaac Sim 仿真平台，大规模推进域随机化仿真数据生成，构建 Sim2Real 管线；OpenAI 早期依托遥操作采集灵巧手魔方操作数据集，验证行为克隆方案；特斯拉依托人形机器人真机测试场，同步搭建仿真场景与真机遥操采集链路。海外方案的共同特征是仿真平台成熟、硬件标准化程度高，但大多为内部闭环数据集，对外开放的高质量触觉、灵巧操作数据集仍然稀缺，且面向国内工业场景、非标物体、复杂人机协同场景的适配性有限。

国内研究机构与企业，包括各大高校机器人实验室、人形机器人厂商、AI 大模型公司，在最近两年快速意识到数据底座的价值。国内团队优势在于工业场景丰富、柔性装配需求旺盛，但普遍存在几个短板：一是数据采集分散，缺少流水线化的数据工厂；二是仿真工具链碎片化，国产物理引擎、触觉仿真精度不足；三是缺少统一元数据标准，不同团队数据集无法互通；四是触觉、力觉等高维接触数据的采集与标注体系不成熟。

在三层供给体系方向，国内已有部分厂商开始分段落地：有的优先搭建遥操作采集工位，有的优先投入仿真场景批量生成，少数头部团队开始尝试打通三层数据对齐融合，但完整、闭环、附带数据资产治理能力的数据工厂仍处于早期成型阶段，尚未形成成熟的行业标准。泷码软件研究院结合 CDO 数据治理平台能力，聚焦三层供给体系一体化建设，正是对这一产业缺口的回应。

1.4 研究范围与核心定义

本报告的研究对象限定于面向操作类具身智能体的数据集与数据工厂，重点覆盖灵巧手、多自由度机械臂、移动操作机器人，不重点讨论纯导航、纯视觉识别等非交互类机器人数据集。 核心定义：

1. 具身智能数据集：面向物理交互任务、带有时序关联、包含视觉、深度、点云、本体传感、触觉、力觉、动作序列、指令标签的多模态时序数据集，用于训练视觉语言动作模型、策略网络、价值网络、世界模型。

2. 具身智能数据工厂：一套工程化、流水线化的数据生产基础设施与组织流程，以标准化方式完成场景搭建、数据采集、自动生成、标注校验、清洗融合、版本管理、质量评估、数据服务输出，持续稳定供给具身智能训练数据。

3. 真机遥操：操作员通过主手设备、VR/XR 交互设备，远程控制真实物理机器人完成操作任务，同步记录全部传感器与动作时序数据的数据采集模式。

4. 灵巧手采集：以多自由度仿生灵巧手为核心执行端，采集包含指尖触觉阵列、接触力、关节形变、物体接触交互的精细操作数据，可分为人工遥操灵巧手采集与脚本化自动灵巧手采集两类。

5. 仿真数据：在物理仿真引擎中重建三维场景、物体、机器人模型，通过程序自动随机化物体位置、材质、光照、摩擦系数、扰动参数，批量自动生成的多模态时序交互数据。

2. 具身智能的数据本质与数据集底座价值

2.1 具身智能区别于大语言模型的数据特征

文本大模型的数据是符号化、离散化、无物理约束的语言序列，核心学习对象是语言共现规律、逻辑范式；图像模型学习静态空间分布；而具身智能数据有四个独有的核心特征。

第一，强时序耦合性。操作行为是连续时序决策，前一时刻的接触状态直接决定下一时刻动作，样本不能被切分为独立静态帧，时序错位、时间戳漂移会直接破坏样本有效性。 第二，多模态强关联。视觉、深度、本体关节、触觉、力觉、音频、高层自然语言指令属于同一交互事件的不同观测维度，模态之间存在物理因果约束，不是简单拼接。 第三，物理一致性约束。数据样本必须符合真实物理规则：质量、摩擦、碰撞、形变、重力守恒。仿真数据如果物理参数失真，即便视觉渲染效果逼真，也会给模型传递错误物理先验；真机采集数据则会因为传感器噪声、标定误差出现物理不一致异常样本。 第四，任务依赖性与分布偏移敏感性。具身策略模型高度依赖数据分布，训练数据里没有出现过的物体材质、遮挡形态、初始摆放，模型很容易失效，也就是泛化难题。这也是为什么单纯扩大静态图像规模无法解决机器人操作问题。

这些特征决定了，直接复用文本、图像的数据平台、标注工具、质控标准完全不适用具身智能，必须单独设计数据工厂管线。

2.2 具身智能数据集的核心构成要素

一份标准化的具身交互样本，其数据结构包含五大模块： 一是高层任务元信息：自然语言指令、任务类型、成功判定标准、场景编号、物体清单、环境参数； 二是感知观测流：RGB 图像、深度图、红外图像、三维点云、相机内参外参； 三是本体状态流：机械臂 / 灵巧手各关节角度、角速度、力矩、底盘位姿； 四是接触反馈流：指尖触觉阵列、六维力传感器、接触位置、接触压力分布； 五是动作与标签流：操作员 / 控制器输出动作序列、奖励信号、分段动作标签、成功 / 失败标记、失败原因标签。

每一条样本都需要绑定统一坐标系、统一时间基准、标定参数文件，这也是三层数据跨层对齐的基础。

2.3 数据集质量对具身智能能力的约束机制

具身模型训练路径主要包含行为克隆、离线强化学习、在线强化学习、世界模型预训练、视觉语言动作微调。不同训练范式对数据质量的侧重点不同。

行为克隆高度依赖遥操、灵巧手采集的人类示范数据。如果示范动作冗余、抖动、策略不一致，模型学习到的就是不稳定、低效的操作策略；示范样本覆盖不足，模型无法处理分布外情况。 离线强化学习对数据分布、样本多样性、负样本（失败轨迹）要求极高，单一成功轨迹数据集容易造成价值过估计，需要大量包含失败、卡滞、打滑、抓取脱落的交互轨迹。 Sim2Real 迁移学习依赖仿真数据的物理真实性与随机化空间，同时需要少量真机真值数据做对齐校准，仿真域和真实域差距越大，迁移效果越差。 世界模型学习环境动力学，对物理一致性、接触反馈数据精度最为敏感，触觉、力觉数据缺失，世界模型很难预测物体形变、滑移、接触后的演化结果。

简言之：数据的分布边界，就是具身智能体能力的边界。模型可以拟合数据里存在的物理规律，但很难凭空生成没有观测过的物理交互经验。

2.4 传统数据采集模式的局限性

传统科研式采集模式，存在一系列无法支撑产业化的短板： 第一，采集非标准化。场景临时搭建，传感器标定记录缺失，元信息随意记录，不同批次数据参数不一致，无法合并训练。 第二，产能极低。一次采集只能覆盖少量物体、少量初始姿态，更换场景需要大量人工调试。 第三，危险场景不可达。高温、高压、易燃易爆、易碎有毒物体，真机采集风险高、成本高，难以大量采集失败样本。 第四，精细接触数据缺失。普通机械臂缺少触觉传感器，难以获取灵巧操作所需的接触信息。 第五，缺少闭环反馈。采集和模型训练脱节，模型反馈的难例无法回流指导下一轮定向采集，数据生产是开环的。

正是这些局限，催生了工程化的数据工厂以及三层供给体系。

3. 具身智能 “数据工厂” 总体架构与运行范式

3.1 数据工厂的定位与核心目标

具身智能数据工厂，定位为面向具身模型的多模态时序数据持续生产基础设施，它不是单一采集工位或者仿真服务器集群，而是一套包含硬件集群、软件管线、标注平台、质量引擎、数据资产库、CDO 治理模块的一体化系统。

数据工厂的核心目标可以概括四点：

1. 规模化稳定产出符合元数据规范的真机遥操、灵巧手交互、仿真交互数据集；

2. 统一多源异构数据标准，完成跨数据源对齐、融合、校验，输出可直接用于训练的数据包；

3. 建立质量评估与主动采样机制，根据模型迭代反馈定向补充稀缺样本、难例样本；

4. 实现全链路数据资产管控、版本追溯、权限隔离、合规审计，把原始采集素材转化为可复用、可授权、可追溯的数据资产。

3.2 数据工厂顶层架构：生产层、治理层、资产层、服务层

第一层：生产层。是数据供给的硬件与算力底座，包含真机遥操工位集群、灵巧手采集测试工位、传感器阵列、主从控制设备、仿真渲染服务器集群、场景资产库。也就是三层供给体系的物理载体，负责原始数据生成。 第二层：治理层。依托泷码首席数据官（CDO）平台能力，包含元数据管理引擎、数据清洗模块、时序对齐模块、自动化标注引擎、物理一致性校验引擎、隐私脱敏模块、版权审核模块、质量评分引擎。这一层解决异构数据 “可用” 的问题。 第三层：资产层。即数据资产仓库，按任务、模态、硬件类型、采集批次、版本号进行目录管理，支持数据集版本冻结、分支管理、样本检索、特征索引、难例样本库独立存储。 第四层：服务层。向上游模型训练平台、算法团队、测试平台提供标准化数据 API、数据集打包输出、样本在线预览、评估报告输出，支持按需订阅定向数据集。

四层架构自上而下形成支撑，治理层是数据工厂区别于简单采集集群的核心，也是泷码 CDO 平台的核心落地位置。

3.3 数据工厂闭环生产管线：需求定义 — 采集生产 — 标注校验 — 对齐融合 — 入库治理 — 模型反馈

完整闭环流程依次为： 第一步，需求定义。算法团队提交任务需求，明确任务类型、物体集合、环境约束、数据配比（遥操 / 灵巧手 / 仿真占比）、标签类型、质量指标。数据工厂输出采集方案。 第二步，采集生产。调度三层供给体系并行生产：操作员在遥操工位录制示范轨迹；灵巧手工位执行脚本化精细交互采集；仿真集群批量生成随机化场景轨迹。原始数据流实时上链。 第三步，标注校验。自动标注引擎先完成基础标签生成（关节、位姿、边界框、任务状态），复杂语义标签、失败原因标签进入人工复核队列。 第四步，对齐融合。统一时间戳、坐标系、相机参数，完成仿真数据与真机数据的模态对齐，剔除时序错位样本，完成跨源样本合并。 第五步，入库治理。脱敏、版权审核、质量打分，合格样本进入资产库，标记版本；不合格样本进入返工或者废弃队列。 第六步，模型反馈。模型训练后输出失败案例、分布外样本、高损失样本，回流到需求端，生成新一轮定向采集任务，形成闭环迭代。

这套闭环，让数据生产从被动采集，转向跟随模型能力缺口主动供给。

3.4 数据工厂的组织、算力与工具支撑体系

组织层面，数据工厂需要三类角色协同：场景工程师、采集操作员、数据治理工程师、算法对接工程师、数据合规管理员。 算力层面，真机采集对边缘实时通信算力要求高；仿真数据需要大量 GPU 集群用于物理求解、光线渲染、并行场景生成；标注与治理侧需要分布式计算资源做时序解析、点云处理、质量校验。 工具链层面，包含主从遥控软件、灵巧手驱动 SDK、仿真引擎插件、时序同步中间件、多模态标注工具、元数据 Schema 管理工具、CDO 数据审计平台。工具链的标准化程度，直接决定工厂产能上限。

4. “真机遥操 + 灵巧手采集 + 仿真数据” 三层供给体系详细解析

4.1 第一层：真机遥操数据供给体系

4.1.1 真机遥操数据的内涵与适用场景

真机遥操，指操作员通过力反馈主手、VR 手柄、动捕设备等交互终端，远程控制部署在真实环境中的物理机器人，完成抓取、移动、装配、整理等操作任务，系统在任务全程同步录制全部传感器时序数据与操作员动作指令。遥操数据本质是人类物理操作策略的示范轨迹，是行为克隆最核心的数据源。

它最适合的场景：需要符合人类操作习惯、需要自然的操作策略、需要真实环境噪声、接触不确定性的任务，例如家居物品整理、柔性物料操作、复杂零件装配。遥操数据最大的价值在于，自带人类的操作先验，动作序列具备语义合理性，不存在仿真常见的 “伪物理动作”。

4.1.2 遥操作采集硬件与通信链路方案

一套标准遥操采集单元由操作员侧主交互设备、远端从机器人（机械臂 / 移动底盘）、多传感器套件、实时通信网关、边缘存储节点构成。 主手设备优先选用带力反馈的主从控制器，能够传递接触阻力、碰撞反馈，让操作员做出更贴近真实交互的动作；也可以采用 VR 手势追踪方案，适合大空间、非高精度任务。 从端硬件包含六自由度或者七自由度机械臂、RGB-D 相机、全局快门相机、腕部六维力传感器。通信链路必须满足低时延，时延过高会造成操作员动作滞后，示范轨迹变形，通常需要专网、实时以太网，控制时延控制在十毫秒级别。

每一套遥操工位都独立配置标定文件，相机内外参、手眼标定结果作为元数据绑定到每一条轨迹，避免后续对齐误差。

4.1.3 遥操作多模态数据采集维度

遥操采集同步记录：RGB 视频、深度流、点云、机器人各关节状态、腕部力 / 力矩、操作员主手输入指令、任务开始结束标记、自然语言指令、操作员备注（失败原因、操作意图）。 遥操采集同时支持两种模式：成功轨迹采集，用于学习标准操作范式；刻意失败轨迹采集，操作员主动尝试打滑、抓取不稳、碰撞，生成负样本，用于提升模型鲁棒性。

4.1.4 遥操作采集流程与人机协同机制

采集前：场景布置、物体摆放、传感器标定、任务脚本确认； 采集中：操作员接收高层指令，远程操作，系统自动录数，异常触发时自动暂停； 采集后：快速预览回放，操作员即时标记本次轨迹成功或者失败，填写操作备注； 批量模式下，多个遥操工位并行采集，任务调度系统自动分发不同物体组合、初始姿态，避免样本同质化。

4.1.5 真机遥操数据优势与固有短板

优势：数据 100% 来自真实物理世界，自带真实噪声、光照变化、摩擦不确定性，示范动作符合人类策略，迁移到真机上的可信度最高；是 Sim2Real 对齐的真值锚点。 短板：人力成本高、采集速度慢、工位建设成本高；危险、易碎、高成本物体难以大量采集；样本多样性受工位数量、操作员数量限制；长时间采集容易出现操作员疲劳，示范策略漂移，动作抖动。遥操不适合做百万级超大样本的主力供给，适合作为 “基准真值样本”。

4.2 第二层：灵巧手采集数据供给体系

4.2.1 灵巧手数据的任务属性与独特价值

普通二指夹爪只能完成简单夹持，仿生灵巧手具备多根独立驱动手指、指尖触觉传感阵列，可以完成捏取、扭转、滑动、精细装配、柔性物体形变交互，是通往通用操作的核心硬件。灵巧手采集数据，聚焦指尖级精细接触交互，是遥操数据的补充升级。遥操很多时候记录的是臂级运动，而灵巧手数据记录的是接触层面微观交互。

灵巧手数据回答的是：手指以多大压力接触物体、接触点如何分布、物体打滑时指尖形变与力信号如何变化、不同材质下抓取稳定边界在哪里。这类触觉 - 力觉耦合数据，是视觉单独无法观测的隐性物理信息，也是当前行业最稀缺的数据类型。

灵巧手采集分为两类：一类是操作员通过遥操作控制灵巧手完成精细动作，属于遥操 + 灵巧手的组合采集；另一类是预设脚本自动循环采集，灵巧手按照参数网格遍历不同压力、不同抓取姿态，自动完成抓取、滑移、释放、扭转，批量生成接触样本。

4.2.2 灵巧手标定、力控、触觉传感的数据维度

标准灵巧手数据集包含：每根手指关节角度、角速度、驱动力矩、指尖触觉阵列二维压力分布图、多点接触坐标、腕部六维力、物体形变观测、接触状态标签（稳定抓取、滑移、脱离、挤压形变）。 触觉传感器的标定是难点：需要对每个指尖像素做压力校准，消除温漂、基线漂移，否则触觉数据会出现系统性偏差，模型学到错误接触反馈。

4.2.3 灵巧手自动化采集与任务脚本设计

自动化采集脚本采用参数遍历方案：对抓取位置、预紧力、接近速度、物体姿态做网格采样，灵巧手循环执行抓取交互，不需要操作员持续实时控制。这种模式适合生成大规模接触基准数据，构建物体的接触属性库。 脚本采集的局限在于动作范式是预设的，缺少人类灵活的应急调整策略，所以脚本灵巧手数据，一般和人工遥控灵巧手数据搭配使用。

4.2.4 灵巧手数据的标注难点与对齐方法

触觉数据没有天然的可视化标签，标注难度远高于视觉。常用方案是：同步高速相机记录指尖接触画面，触觉图和视觉帧严格时间戳对齐，由标注员标记滑移、打滑、挤压等接触事件；同时结合力信号阈值做自动事件检测，减少人工标注量。

4.2.5 灵巧手采集数据的适用边界

灵巧手采集适合精细操作、柔性物体、接触感知相关任务；缺点是硬件昂贵、标定维护复杂、单样本采集周期长，很难快速覆盖海量物体种类。它在三层体系里定位是高价值精细接触样本供给层，不是海量样本层。

4.3 第三层：仿真数据供给体系

4.3.1 仿真数据在具身智能中的定位

仿真数据是三层体系里的规模化产能底座。在高保真物理仿真环境中，重建机器人、灵巧手、物体、场景，通过程序自动改变物体位置、姿态、材质、光照、摩擦系数、质量、阻尼、相机噪声，自动批量生成交互轨迹。仿真数据解决真机采集 “慢、贵、危险、多样性不足” 的痛点，是支撑百万、千万级数据集的主力来源。

4.3.2 物理引擎、渲染引擎与数字场景构建

仿真管线由物理求解引擎、渲染引擎、机器人动力学模型、触觉仿真模型构成。物理引擎负责碰撞、动力学、接触求解；渲染引擎输出 RGB、深度图、虚拟点云；触觉仿真模块输出虚拟指尖压力分布。 场景资产库是仿真工厂的核心资产，包含标准化物体三维模型、材质参数包、家具、工作台、工业工装等基础场景，支持快速实例化、组合、替换。高质量资产库决定仿真场景的丰富度。

4.3.3 仿真数据自动化生成、增强、扰动注入机制

自动化生成流程：随机采样任务参数→初始化场景状态→加载机器人与灵巧手→执行动作策略（脚本 / 回放遥操示范 / 随机探索）→同步记录全部观测与动作流→自动打标签→入库。 域随机化（Domain Randomization）是 Sim2Real 的核心技术：在每一次仿真轨迹生成时，对光照、纹理、物体质量、摩擦、传感器噪声、相机外参做随机扰动，强迫模型学习不依赖特定场景参数的通用物理规律，降低域偏移影响。

4.3.4 仿真域随机化技术（Domain Randomization）实现路径

随机化维度分为：视觉域随机化（光照、纹理、色彩、噪声）、物理域随机化（摩擦、刚度、质量、阻尼、接触刚度）、几何随机化（物体微小形变、摆放扰动）、传感器随机化（深度噪声、延迟、量化误差）。 随机化不是无限制乱改参数，参数分布范围需要用真机遥操、灵巧手采集的真值数据做校准，避免仿真参数脱离真实物理分布。

4.3.5 仿真数据优势与仿真 - 真实域偏移核心难题

仿真数据优势：成本极低、生成速度快、无安全风险、可以随意生成极端难例、可以无限次复现同一个场景；标签天然自动生成，几乎不需要人工标注。 仿真最核心痛点是域偏移：仿真里的接触、摩擦、形变是数值近似，和真实世界存在系统性误差。只在仿真数据训练的策略，直接放到真机上大概率失效。这也是为什么仿真数据不能单独使用，必须搭配真机真值样本做对齐。

4.4 三层供给体系协同逻辑与互补关系

4.4.1 三层数据的互补矩阵

真机遥操：真值高、策略符合人类、产能低、成本高，供给示范轨迹、对齐锚点 灵巧手采集：接触感知丰富、触觉力觉信息完整、硬件成本高、中等产能，供给精细接触交互样本 仿真数据：产能巨大、可生成极端难例、成本低、存在域偏差，供给大规模基础样本、分布扩充样本

三者不存在谁替代谁，而是互相约束、互相校准：遥操数据用来校准仿真随机化参数分布；灵巧手接触真值用来优化仿真触觉模型；仿真生成大量样本降低对真机采集数量的依赖。

4.4.2 分层配比策略：不同任务下的数据组合方案

简单刚性物体抓取任务：仿真 70% + 遥操 20% + 灵巧手 10%，依靠仿真扩充多样性，少量真机做对齐。 柔性物体、精细装配、触觉依赖任务：仿真 40% + 遥操 30% + 灵巧手 30%，提升灵巧接触样本占比。 高危场景、工业防爆场景：仿真 90% + 遥操 10%，真机只采集少量安全条件下的基准样本。 家用服务机器人、以人为中心的人机交互任务：仿真 50% + 遥操 40% + 灵巧手 10%，优先保证人类操作范式一致性。

配比不是固定值，数据工厂可以根据模型评估反馈动态调整，也就是主动数据配比。

4.4.3 跨层数据对齐、时间戳同步、坐标系统一标准

协同的前提是统一规范： 第一，统一时间基准，所有传感器、仿真引擎输出打上高精度时间戳，时序对齐误差控制在毫秒级； 第二，统一世界坐标系、相机坐标系、机器人基坐标系，仿真模型、真机标定采用同一套转换规范； 第三，统一元数据 Schema，任务标签、物体属性、成功判定标准在三层数据源保持一致； 第四，建立映射校准集，定期用真机遥操、灵巧手真值数据评估仿真数据偏差，反向更新仿真参数分布。

5. 三层数据融合、净化与质量管控体系

5.1 多源异构数据统一元数据规范

泷码 CDO 平台定义统一元数据 Schema，所有三层产出的样本都必须包含固定字段：数据集 ID、版本号、采集来源标记（遥操 / 灵巧手 / 仿真）、场景 ID、物体清单、任务标签、成功标记、传感器清单、标定文件路径、时间基准、采集人员 / 仿真种子编号、安全脱敏标记、版权标记。统一 Schema 是数据融合、检索、复用的基础。

5.2 数据清洗、去重、异常样本过滤机制

原始数据天然包含无效样本：遥操里操作员误触、长时间静止、传感器掉线；灵巧手采集中触觉基线漂移；仿真里求解发散、穿透、非物理碰撞。 清洗管线分为自动和人工两级：自动过滤基于规则，剔除超时静止、时序跳变、物理穿透、力值超限样本；相似度检测剔除高度重复轨迹；自动过滤后留存的疑似异常样本，进入人工复核队列。

5.3 自动化标注 + 人工复核混合标注流水线

仿真数据标签天然可自动导出，几乎不需要人工；遥操、灵巧手数据的基础状态标签（关节、位姿）自动生成；高语义标签（操作意图、失败类型、接触模式）采用大模型辅助预标注 + 人工复核。 时序标注工具支持视频、触觉图、力曲线联动回放，标注员可以沿着时间轴给交互事件打分段标签，适配具身数据时序属性。

5.4 具身数据集质量评价指标体系

区别于图像数据集的 mAP 等指标，具身数据集质量评价分为四大维度：

1. 物理一致性指标：碰撞穿透率、动力学残差、接触信号合理性；

2. 时序指标：时间戳同步误差、帧率稳定性、动作连续性；

3. 分布指标：物体姿态覆盖度、场景多样性、正负样本均衡度、难例占比；

4. 下游效用指标：使用该数据集训练策略在真机上的任务成功率、泛化测试集通过率。 其中下游效用指标是最终指标，直接反馈数据集对模型的价值。

5.5 难例挖掘与主动采样闭环机制

难例挖掘是数据工厂实现高效迭代的核心。模型训练、真机测试中失败的轨迹，上传到难例库，系统自动分析失败原因：是物体姿态没见过、材质缺失、接触策略不足还是光照场景缺失。然后生成定向采集工单，调度三层供给体系针对性补数据：分布缺口大的优先仿真批量补充；触觉接触问题补充灵巧手采集；策略范式缺失补充遥操示范。 这套机制避免盲目无差别采集，把数据预算投入到模型真正薄弱的分布区域。

5.6 时序一致性、物理一致性校验规则

物理一致性引擎内置基础物理规则：物体不可无外力自主加速、不可穿透、接触力方向符合法线方向、质量守恒。对每一条轨迹做自动校验，标记违反物理先验的样本。仿真数据尤其需要这个校验模块，过滤求解发散的无效仿真轨迹。

6. 数据工厂的数据资产化、安全与合规治理

本章节依托泷码首席数据官（CDO）平台的治理能力建设。

6.1 具身智能数据资产确权、目录与版本管理

原始采集素材经过清洗质检入库后，转化为可管理的数据资产。资产目录按照任务域、硬件类型、数据源分层索引，支持权限隔离。采用版本分支机制：基础版本冻结用于基准模型训练；分支版本用于新增样本、参数改动；支持版本比对、回滚、衍生数据集追溯。每一次数据集对外输出，都留存分发审计记录。

6.2 隐私保护：场景脱敏、人体信息剥离、操作主体匿名化

真机遥操场景中，如果画面内出现操作员人脸、个人物品、身份信息，必须自动脱敏。数据工厂内置隐私检测模块，识别人脸、车牌、身份标识，做模糊化处理；操作员身份信息和采集轨迹解耦，所有示范数据匿名化存储。面向家居场景采集时，严格规避个人敏感物品的无授权记录。

6.3 版权风险：仿真资产、实物场景、第三方模型素材管控

仿真场景使用的三维模型、纹理素材，必须具备授权。建立素材资产库白名单，区分自研模型、开源可商用模型、授权商用资产，禁止无版权素材进入仿真生成管线。遥操采集的公共场景、第三方工装场景，同样需要确认采集授权范围，避免侵权。

6.4 数据出境、训练数据使用、模型蒸馏衍生数据合规要点

数据集如果对外提供或者用于跨境模型训练，需要按照国内数据相关法规开展数据出境评估。同时明确协议边界：区分数据集授权使用范围，区分训练使用、二次分发、模型蒸馏衍生使用的权限，明确禁止将采集到的示范数据用于协议之外的产品。

6.5 数据访问权限、分级管控、审计追溯体系

CDO 平台设置分级权限：采集操作员只能上传预览；治理工程师可以清洗标注；算法团队按需申请数据集只读权限；管理员管控版本分发。全链路操作日志自动留存：谁访问、谁下载、谁修改、何时分发，形成不可篡改审计台账，满足监管与内控要求。

7. 三层供给体系典型应用场景与落地案例推演

7.1 场景一：通用灵巧操作任务（抓取、放置、装配、分拣）

这是三层体系最典型落地场景。目标训练通用灵巧手操作策略。数据配比上以仿真生成海量物体姿态样本打底，遥操提供人类示范策略，灵巧手工位专门采集指尖滑移、捏取、扭转的触觉样本。数据工厂持续挖掘抓取失败、打滑难例，定向补充，逐步提升模型对不同材质、不同形状物体的泛化抓取能力。

7.2 场景二：移动具身智能体室内导航与交互任务

移动操作机器人同时需要导航数据和操作交互数据。仿真负责生成海量户型、障碍物布局、光照变化；遥操采集人在环境中自然交互的操作序列；灵巧手补充台面物体交互接触数据。适合商用服务机器人、巡检交互机器人。

7.3 场景三：人机协同工业柔性装配场景

工业非标零件装配，对操作精度、接触力控制要求高，工况固定但零件种类多、来料姿态变化大。真机遥操采集熟练技工装配示范轨迹；灵巧手采集螺栓插接、卡扣装配的力触觉曲线；仿真用来遍历来料姿态扰动，生成大量变体样本。该场景对数据时序精度、物理一致性要求极高，数据工厂的质控模块是落地关键。

7.4 场景四：危险、高成本场景（防爆、高温、危险品操作）

这类场景真机采集风险极高，三层体系以仿真数据为主，在安全实验条件下少量真机遥操采集基准真值，校准仿真物理参数。仿真可以大量模拟泄漏、碰撞、异常工况的失败轨迹，训练应急操作策略，规避人身与设备风险。

7.5 场景五：家用服务机器人日常交互任务

家居场景物体杂乱、遮挡多、柔性物体多、任务语义开放。遥操占比提升，学习人类整理、收纳、擦拭的自然操作习惯；仿真扩充户型、物体摆放组合；灵巧手补充毛巾、塑料袋等柔性物品的接触交互数据，适配家庭复杂非结构化环境。

8. 当前技术瓶颈、产业痛点与风险研判

8.1 仿真到真机的域迁移瓶颈，泛化能力不足

域偏移是 Sim2Real 路线长期核心难题。即使大量使用域随机化，仿真的接触摩擦、微观形变、触觉响应依然和真实世界存在系统性偏差。模型在仿真里成功率很高，部署到真机上性能跳水。当前没有彻底消除域偏移的方案，只能依靠真机真值持续校准、提升仿真保真度、域自适应算法缓解。

8.2 灵巧手触觉、力觉数据采集成本高、标准化缺失

商用级六自由度灵巧手、高密度触觉阵列价格昂贵，传感器标定、维护工作量大；行业没有统一的触觉数据存储格式、标定规范，不同厂商灵巧手产出的数据无法直接互通，数据集复用门槛高。触觉仿真模型成熟度显著落后于视觉仿真。

8.3 真机遥操人力成本高、采集效率上限低

遥操高度依赖操作员，操作员培训周期长，长时间操作疲劳会带来示范质量下滑。即便并行扩建工位，人力供给依然是产能天花板。遥操适合做高价值示范，不适合做海量样本供给。

8.4 具身智能数据集基准测试集匮乏，缺少统一行业标准

图像、NLP 领域有成熟公开基准，而具身操作数据集大多是企业内部私有数据集，公开基准集样本规模小、场景单一、硬件不统一。缺少统一评测基准，不同团队的模型、数据集之间横向对比困难，行业试错成本高。

8.5 数据工厂算力、场景搭建、硬件迭代带来持续投入压力

数据工厂不是一次性建设项目：仿真集群 GPU 算力持续消耗；机器人、灵巧手硬件迭代换代，旧硬件采集的数据会和新硬件动力学特性不匹配，出现数据老化；场景资产库持续扩充、维护都需要长期投入。对于中小团队，自建完整三层数据工厂门槛极高。

8.6 算法模型迭代对数据分布动态变化带来的管线适配压力

模型架构、奖励函数、训练范式发生变化时，原先采集的数据集分布、标签体系可能不再适配。数据工厂管线需要具备灵活可配置能力，否则每次算法迭代都要重构采集规范，成本巨大。

9. 具身智能数据工厂与三层供给体系演进路线

9.1 短期阶段：标准化管线搭建，三层数据源打通与基础对齐

1-2 年短期目标：完成数据工厂基础管线落地，搭建一定规模遥操工位、灵巧手采集工位、仿真集群；统一元数据 Schema、时间戳、坐标系规范；打通 CDO 数据治理、质检、资产目录、审计模块；实现三层数据产出、融合、输出自动化，形成稳定供给能力。产出封闭内部数据集，支撑自有具身模型迭代。重点解决 “数据能稳定产出、规范可用” 的问题。

9.2 中期阶段：主动数据生成、难例自动挖掘、自适应数据配比

2-4 年中期目标：完善难例挖掘闭环，模型反馈自动驱动定向采集；实现动态数据配比引擎，根据评估结果自动调整仿真、遥操、灵巧手采集任务分配；优化触觉仿真、物理仿真保真度，缩小域偏移；建立内部基准评测集，量化评估数据集质量和模型泛化能力。数据工厂从被动接单采集，升级为智能化主动供给。

9.3 长期阶段：自驱动具身智能体自主探索采集，数据工厂从 “人工驱动” 转向 “智能自驱”

长期愿景：未来具身智能体具备自主探索能力，机器人在真实环境、仿真环境里自主尝试交互、自主挖掘未知难例，自主生成交互轨迹，不再完全依赖操作员遥操和脚本。数据工厂转变为 “自主探索 + 人工校验 + 仿真扩充” 的新模式，数据生产的人力依赖大幅下降，持续源源不断发现新的物理交互经验，支撑通用具身智能持续进化。

9.4 配套生态：共建开放基准数据集、跨厂商数据接口规范

长期生态方向：联合产业链伙伴共同推动具身数据集接口、元数据、评测指标的行业共识，共建开放基准数据集，降低整个行业重复采集成本，推动不同厂商模型、硬件之间数据集兼容互通。

10. 结论与展望

10.1 核心研究结论

第一，数据集是具身智能的核心底座，具身数据的时序耦合、多模态关联、物理约束属性，决定了传统零散采集模式无法支撑产业化迭代，工程化 “数据工厂” 是必然方向。 第二，“真机遥操 + 灵巧手采集 + 仿真数据” 三层供给体系是当前阶段最优的产能 - 质量平衡架构，三者分工明确、互为校准：真机遥操提供人类操作真值示范，灵巧手补齐精细接触触觉、力觉信息，仿真承担大规模样本与极端难例供给，三层协同能够在成本、真实性、多样性之间找到可行平衡点。 第三，数据工厂的核心竞争力不在于硬件工位或者仿真服务器本身，而在于统一元数据标准、时序对齐、物理一致性校验、难例闭环、数据资产与合规治理管线，泷码 CDO 平台承担了治理层核心能力，把原始素材转化为可管控、可追溯、可复用的数据资产。 第四，该体系依然存在显著瓶颈，域偏移、触觉标准化、遥操人力上限是现阶段最突出约束，三层供给体系是阶段性成熟方案，而非终极方案，长期方向是向智能体自主探索采集演进。

10.2 产业发展展望

具身智能行业的竞争，正在从单纯算法、硬件竞争，逐步延伸到数据基础设施竞争。能够稳定、低成本、高质量持续供给具身交互数据集的数据工厂，会成为通用机器人赛道的核心基础设施之一。三层供给体系会在未来几年持续普及，成为头部具身智能团队的标配。随着仿真引擎、触觉传感器、主从控制硬件成本下行，数据工厂的建设门槛会逐步下降，服务型、外包型数据工厂服务模式也会逐步出现。

10.3 后续重点研究方向

后续泷码软件研究院、CDO 平台将重点推进几个方向：一是触觉数据标准化与触觉仿真校准研究；二是基于下游模型损失信号的主动采样算法优化；三是跨硬件、跨仿真引擎的统一数据交换协议；四是面向具身时序数据集的隐私增强、联邦数据共享方案；五是数据集效用评估指标体系的持续完善。

数据来源

1. 泷码软件（上海）有限公司、泷码软件研究院内部具身智能数据工厂工程试点观测记录、三层供给体系原型管线运行日志；

2. 国内外公开具身智能、灵巧手、Sim2Real、遥操作机器人相关学术论文、行业白皮书、技术博客；

3. 英伟达 Isaac Sim、主流仿生灵巧手厂商公开技术文档、遥操作机器人主从控制技术规范；

4. 泷码首席数据官（CDO）平台多模态时序数据治理、数据资产管控模块内部设计文档；

5. 国内人形机器人、具身智能产业公开行业研讨资料、公开数据集说明文档。

免责声明

本报告由泷码软件（上海）有限公司、泷码软件研究院、泷码首席数据官（CDO）平台撰写，仅用于行业研究、内部研讨、技术交流参考，不构成任何商业承诺、投资建议、产品交付承诺。报告内技术方案、架构设计、配比策略为当前阶段研究推演结论，受硬件迭代、算法演进、行业标准变化影响，不保证方案在所有场景下直接落地生效。报告引用的外部公开资料版权归原权利人所有，本报告对第三方资料的引用不代表认可其全部观点。未经泷码软件（上海）有限公司书面许可，不得对本报告全文或核心内容进行篡改、二次包装、对外商用发布。报告中涉及的数据合规、隐私治理方案仅为框架性参考，实际落地需结合业务场景、属地法律法规另行完成合规评估。