在十几B或者几十B的模型训练时，一般一个step的时间是多久，对应的batch_size大小是多少？
2024-12-04 阅读 12
在十几B或者几十B的模型训练中，一个step的时间取决于模型的复杂度、训练数据的大小和硬件设备的性能。一般来说，对于小规模模型和较小的训练数据集，一个step的训练时间可能在几毫秒到几秒之间。而对于batch size的选择，通常会根据硬件设备的内存大小和计算资源来确定。在十几B或者几十B的模型训练中，通常会选择较小的batch size，比如16、32或64，以便在有限的内存资源下能够高效地进行训练。
更新于 2024年12月07日
