T.E.E.D 1104 是一个在视频游戏中运用监督学习学习驾驶的深度神经网络,基于 PyTorch,并使用了 Nvidia 的 Apex 扩展库,支持混合精度训练与推断,最多有两倍的速度提升。

该项目的主要目的是实现一种可以在侠盗猎车手 5(GTAV,Grand Theft Auto V)中行驶的模型,实际可以适应于玩任何现有的视频游戏。该模型并不是按照交通法规进行驾驶,而是模仿人类在此游戏中的驾驶方式:全速行驶、避开其它汽车/人类/路灯行驶。

模型使用人类标记数据进行训练,在玩游戏时记录游戏和人类的主要输入数据,用于训练模型。

T.E.E.D 1104 由一个深度卷积神经网络(CNN)Resnet 与一个递归神经网络(RNN)LSTM 组成。CNN 接收 5 个图像序列作为输入,并为每个图像生成矢量表示。这些表示被输入到 RNN 中,该 RNN 为整个序列生成唯一的矢量表示。最后,前馈神经网络根据序列的矢量表示输出要在键盘上按下的键。