Meta 新论文:小模型可预测缩放规律但需充分调参

Meta 新论文发现，小模型并非缩放规律的不良预测器，而是常被欠调参。缩放规律约在 4M 参数处显现，单 GPU 训练不足 1 小时；小模型对超参数极其敏感，需足够多的配置数才能准确外推。