谈及「Momenta 如何运用海量的用户数据」,曹旭东分享道:「我们可能会分为预训练的阶段和 Post\-Training 的阶段」... 海量量产的数据包括了大量的长尾数据,通过 World Model Pre\-Training 来预训练这个模型 ... 他继续道:「预训练完,这个模型会有物理常识,但有物理常识不代表它是一个好司机,因为大量的数据里面有好的驾驶行为,但更多是不好的驾驶行为,所以还是需要 Post\-Training,把它的行为激发或对齐到人类好的行为上」。
新浪科技 / 新浪科技
18 分钟前