S2训练效果和论文有差距

[markAKB]

我进行了S2模型的训练，所得到指标为：
NE：6.67 OS ：55.4 SR：41.8 SPL： 37.0
论文中的对应指标分别为
NE：4.89 OS ：60.6 SR：55.1 SPL： 51.5

和论文中的指标差距较大，SR低了接近15个点，这是我训练的曲线

我使用的数据是

请问可能存在什么问题呢？感谢~

[kellyiss]

训练的batch size有对齐吗 以及多视角的数据都用了吗

[markAKB]

训练的batch size有对齐吗 以及多视角的数据都用了吗

单卡bs为2，共用32卡进行训练。
多视角数据指的是哪个数据？我只用了如下图片的数据

[kellyiss]

InternNav/scripts/train/qwenvl_train/train_system2.sh

Line 30 in 1d8d078

vln_datasets=r2r_125cm_0_30,r2r_125cm_0_45,r2r_60cm_15_15,r2r_60cm_30_30,rxr_125cm_0_30,rxr_125cm_0_45,rxr_60cm_15_15,rxr_60cm_30_30 #,scalevln_125cm_0_30,scalevln_60cm_30_30

[markAKB]

InternNav/scripts/train/qwenvl_train/train_system2.sh

Line 30 in 1d8d078

vln_datasets=r2r_125cm_0_30,r2r_125cm_0_45,r2r_60cm_15_15,r2r_60cm_30_30,rxr_125cm_0_30,rxr_125cm_0_45,rxr_60cm_15_15,rxr_60cm_30_30 #,scalevln_125cm_0_30,scalevln_60cm_30_30

嗯嗯，我这里是一致的，没有做修改。

[markAKB]

请教下论文中的训练共用了多少卡呢？

[kellyiss]

我们的batch size 128 以及有uncomment scalevln的部分吗

[markAKB]

我们的batch size 128 以及有uncomment scalevln的部分吗

没有。scalevln部分保持comment的，没有使用scalevln数据

[kellyiss]

55.1的效果应该用了scalevln的 可以加上试试

[markAKB]

55.1的效果应该用了scalevln的 可以加上试试

嗯嗯。请教下训练时的样本数量是多少，最终loss收敛到多大呢？

[WaveLet8]

InternNav/scripts/train/qwenvl_train/train_system2.sh

Line 30 in 1d8d078

vln_datasets=r2r_125cm_0_30,r2r_125cm_0_45,r2r_60cm_15_15,r2r_60cm_30_30,rxr_125cm_0_30,rxr_125cm_0_45,rxr_60cm_15_15,rxr_60cm_30_30 #,scalevln_125cm_0_30,scalevln_60cm_30_30

@kellyiss 您好，我最近也在训练S2，上述vln_datasets数据类型和真实的vln_ce/traj_data/r2r下数据集是如何对应的，有数据配置的说明吗？

[oceanhao]

55.1的效果应该用了scalevln的 可以加上试试

嗯嗯。请教下训练时的样本数量是多少，最终loss收敛到多大呢？

你可以用release的s2训练dual system（s1）试试。dual system阶段s2是freeze，仅s1 trainable，s2 freeze训练起来应该很快，资源消耗也少一些

[markAKB]

55.1的效果应该用了scalevln的 可以加上试试

嗯嗯。请教下训练时的样本数量是多少，最终loss收敛到多大呢？

你可以用release的s2训练dual system（s1）试试。dual system阶段s2是freeze，仅s1 trainable，s2 freeze训练起来应该很快，资源消耗也少一些

我希望复现S2的效果，后续做进一步的开发。S1暂时还不关注。

[oceanhao]

55.1的效果应该用了scalevln的 可以加上试试

嗯嗯。请教下训练时的样本数量是多少，最终loss收敛到多大呢？

你可以用release的s2训练dual system（s1）试试。dual system阶段s2是freeze，仅s1 trainable，s2 freeze训练起来应该很快，资源消耗也少一些

我希望复现S2的效果，后续做进一步的开发。S1暂时还不关注。

只复现s2的话，s2有概率输出point goal，利用模拟器转为action的，不太适合用到真机或者单独用s2。见https://github.com/InternRobotics/InternNav/blob/main/internnav/habitat_extensions/vln/habitat_vln_evaluator.py#L811C56-L811C60

[kellyiss]

55.1的效果应该用了scalevln的 可以加上试试

嗯嗯。请教下训练时的样本数量是多少，最终loss收敛到多大呢？

样本数量按照我们给的数据和脚本就是对的
loss最终到0.2～0.3