自动优化不熟悉的张量操作
我们和我们的同事在今年的机器学习和系统会议上展示了一个全新的自动调度程序 DietCode。 它在处理动态形状工作负载方面比其前辈更有效。 DietCode 同时优化所有形状，不像现有的自动编码器单独优化每个形状。
我们在自然语言处理 (NLP) 任务上测试了我们的方法，该任务可以接受大小从 1 到 128 个标记不等的输入。 当我们使用输入大小的随机样本时，我们可以将优化过程加快近六倍，这反映了现实生活中的合理分布。 当我们考虑所有可能的形状时，这种加速增加了 94 倍以上。
DietCode 不仅速度更快，而且生成的代码性能更好。 与以前的自动调度程序相比，它可以将性能提高多达 75%，与现有库中针对张量操作手动优化的代码相比，性能提高多达 19%。 它有望加速我们客户的动态机器学习工作负载。
来源和详细信息：
https://www.amazon.science/blog/automatically-optimizing-execution-of-unfamiliar-tensor-operations