评测资产与结果披露¶
本页面说明项目已有的测试资产如何用于开源评测；它不把旧版本实验的数值自动声明为当前 main
分支的性能。
截至 2026-08-26，历史测试存档保存在仓库外，不随源码发布。公开仓库提供评测口径、数据清单、 未来数据包的清单 schema，以及经批准的少量派生指标表和图表。每个将来公开的结论必须能回溯到 对应的数据版本、代码提交、配置和分析脚本。
当前公开仓库已包含经项目所有者同意公开的部分 CSV 派生指标表、图表及可复现分析脚本；原始数据仍 不随仓库发布。每个公开结论仍必须能回溯到数据版本、代码提交、配置和分析脚本。
当前结论边界¶
当前
body_rh、多 IMU 共同时间轴、JSONL v2、WebSocket、ROS 2 和 Unity 适配是新的软件主线；历史记录中的协议、设备数量、坐标约定、校准方法和机器人控制链路可能不同。历史末端重建中的“无动捕”测试只能说明内部稳定性、重复性或轨迹一致性；它不能作为带外部真值的绝对位置精度声明。
历史机器人关节和遥操作日志是特定机器人、控制器、姿态、负载和网络条件下的记录，不能泛化为安全性保证或通用机器人性能。
时间同步尚未完成真机验收，因此不得使用历史接收时刻日志为跨 IMU 对齐精度背书。
节点与追踪器主体证据¶
以下图表由
analysis/scripts/generate_historical_figures.py
生成。脚本读取仓库外、项目所有者提供的归档，向 analysis/metrics/ 输出英文表头的指标表，并导出 300 DPI PNG/PDF。
从仓库根目录执行：
python3 -m pip install -r analysis/requirements.txt
python3 analysis/scripts/generate_historical_figures.py \
--data-root /path/to/IMU测试数据汇总
公开仓库不包含原始 CSV、原始人体动作、局域网地址、设备标识或机器人私有配置。
历史电池放电¶
一个历史电池档案包含 42 个有效电压区间。最大记录剩余时间为 566.5 min（9.44 h），有效区间中点 覆盖 3.21 V 到 4.03 V；源文件尾部摘要将该时长四舍五入为 567 min。负载和配置元数据不完整， 因此这是历史观测，不是续航规格承诺。
历史静置姿态变化¶
静置记录在初始化样本之后包含 14,999 个样本，时长为 299.960 s。图中以最初 5 s 的中位数作为 基线，并用一秒均值显示；最后 5 s 的中位数变化分别为 roll -0.002917 deg、pitch 0.158715 deg 和 yaw 0.358060 deg。这是欧拉角稳定性观测，不是外部姿态精度或多 IMU 同步误差。
历史资产清单¶
类别 |
覆盖内容 |
历史时间范围 |
可用于的公开说明 |
当前公开状态 |
|---|---|---|---|---|
节点原始输出 |
加速度、角速度、VQF 四元数与诊断 |
2026-03 |
传感器输出格式和采样诊断 |
不发布原始记录 |
磁力计标定 |
多节点硬磁偏移与软磁矩阵 |
2026-03 |
标定流程存在性 |
不发布设备专属参数 |
姿态标定与动作录制 |
三姿态/四姿态记录、安装对准、角色映射 |
2026-03 至 05 |
校准和录制资产范围 |
不发布原始人体记录 |
漂移 |
静置 VQF 四元数、欧拉角、数据包速率 |
2026-05 |
静置姿态评测方法和部分派生图表 |
原始记录不公开；派生输出已公开 |
末端重建 |
静态噪声、长度约束、重复触点、圆轨迹 |
2026-03 |
无外部动捕下的内部一致性评测 |
历史报告仅供内部追溯 |
整机关节 |
静态姿态与动态轨迹的指令/反馈比较 |
2026-03 至 04 |
补充集成材料 |
原始记录不公开；不是当前基线 |
遥操作联调 |
指令、反馈、误差、速度、力矩、网络空档 |
2026-04 至 06 |
日志字段和异常分析范围 |
原始机器人日志不发布 |
仿真与真机对比 |
PD 参数优化、仿真时序、部分真机指标 |
2026-04 至 06 |
补充控制器调参材料 |
原始记录与配置不公开 |
续航 |
电压分区间和放电记录 |
2026-06 |
电池测试方法和部分派生图表 |
原始记录不公开；派生曲线已公开 |
这些资产是后续论文、技术报告和 release 评估材料的候选证据，不是当前开源版本附带的数据集。
指标口径¶
测试类别 |
最低报告指标 |
单位 |
说明 |
|---|---|---|---|
静态姿态 |
每轴标准差、三维 RMS、观测时长 |
deg、deg/s 或 mm |
必须说明姿态、静置判定和滤波配置。 |
漂移 |
累积角漂移、漂移率、有效包率 |
deg、deg/min、% |
记录开始/结束时间、静置阈值和丢包定义。 |
多 IMU 时间同步 |
同步误差、RTT、有效样本比例、样本年龄 |
ms、% |
使用设备采样时间映射到 |
末端重建 |
重复定位 RMS、轨迹平面残差、外部真值误差 |
mm |
只有外部参考系统存在时才能报告“绝对误差”。 |
关节跟踪 |
MAE、RMSE、最大误差、延迟或相位差 |
deg、ms |
指明关节、轨迹、控制频率、反馈源和安全限幅。 |
遥操作链路 |
指令-反馈误差、网络空档、掉线/异常计数 |
deg、ms、count |
列出异常检测规则，不把被排除帧静默丢弃。 |
仿真到真机 |
各域独立 RMSE/MAE、配置差异 |
deg、mm 或任务单位 |
不得仅报告优化后的最佳 trial；需说明比较基线。 |
电池续航 |
可用时长、电压区间、关机阈值、负载 |
min、V |
说明电池批次、无线状态、采样率、LED 和负载。 |
样本、失败与版本规则¶
未来公开的每一个实验目录必须带有一个符合
evaluation_manifest.schema.json
的 evaluation_manifest.json，至少记录：
experiment_id、采集日期、软件提交或 release、固件版本、硬件修订和校准版本；样本总数、有效样本数、排除样本数及逐项排除原因；
每个指标的名称、统计量、单位、数值和适用范围；
原始数据、派生数据、配置、脚本、图表和报告的相对路径及公开范围；
数据是否包含个人动作、设备 MAC、局域网地址、机器人安全参数或第三方受限材料。
无效帧、同步失效帧、校准失败、网络掉线和超出安全范围的轨迹都必须保留计数。若从统计量中排除，必须记录规则和影响；禁止只保留“最佳一次”结果。
仓库自带无第三方依赖的基础校验器；发布前执行：
python tools/validate_evaluation_manifest.py evaluation/<experiment-id>/evaluation_manifest.json
它会检查必填字段、公开范围、样本数量守恒、指标字段和产物相对路径。完整的字段约束由 JSON Schema 定义。
未来公开数据包¶
只有经数据所有者确认可公开的实验才会进入 release。每个数据包应包含：
evaluation/<experiment-id>/
evaluation_manifest.json
README.md
raw/ # 已获授权且已脱敏的最小原始记录
derived/ # 从 raw 得到的指标和图表输入
config/ # 固件、校准和分析配置快照
scripts/ # 可复现分析脚本
figures/ # 由脚本生成的公开图
SHA256SUMS
数据包不能包含 Wi-Fi 凭据、设备 MAC、个人可识别信息、局域网地址、未脱敏视频、机器人私有配置或未经授权的第三方文件。无法公开原始数据时，至少应公开脱敏最小样例、指标定义、样本统计、失败处理、配置摘要和可运行的分析入口。
当前待验收项¶
新
body_rh动捕链路需要在真机上重新完成同步、佩戴、校准、静态、动态和长期漂移测试。后续新增哪些历史图表、数值、原始记录、机器人日志和照片，需要逐项确认授权与脱敏范围。
若要给出绝对末端位置精度，需要引入并记录外部参考系统或已知几何基准。
补充：历史机器人集成¶
以下图表记录一条历史机器人控制集成链路。由于结果依赖特定机器人、控制器、负载、网络和旧校准 路径，它们与 Body Tracker 主体证据分开呈现。
历史机器人关节跟踪¶
历史 default_pd 遥操作链路包含 4 个右臂关节，每个关节有 6,598 个样本，持续 213.425 s。图中
RMSE 和 MAE 是机器人/控制器链路的指令-反馈误差，不是 Body Tracker 姿态精度或安全保证。
仿真 PD 优化¶
历史仿真文件对每种轨迹包含 14 个关节组、16 次迭代。每条曲线是各关节组归一化 best_so_far
cost 的中位数；阴影为 25% 到 75% 分位范围。它只说明控制器调参过程。
English version: docs/en/evaluation.md.