最近的人工智能研究发现了一个简单的自我监督修剪指标，允许他们在不牺牲性能的情况下丢弃 20% 的 ImageNet，通过数据修剪击败神经缩放定律
通过将神经缩放定律应用于机器学习模型，即增加计算和训练数据点的数量和大小，您可以提高模型的性能。 我们应该能够将测试中的错误减少到一个很小的值，因为我们拥有如此强大的计算能力并且可以收集比以往更多的数据。
这种方法并不理想。 我们有足够的计算能力，但扩展的好处不是很强，而且它是不可持续的，因为额外的成本太高了。 例如，要将误差从 3.4% 降低到 2.8%，可能需要大量数据、计算或能量。 有什么解决办法？
来源和详细信息：