元学习和 JAX 如何为下一代进化优化器提供动力？
从人工智能到机器学习和金融，每个领域都在使用黑盒优化方法。 当没有代数模型时使用这些方法。 黑盒优化用于设计和分析问题陈述的算法，其中函数目标的结构或定义集合的约束未知。 黑盒优化方法在给定一组输入参数的情况下评估函数的最优值。 这是通过在输入空间内的不同点迭代测试函数以确定最佳点来实现的。
梯度下降并不适用于所有问题，尽管它是深度学习模型最流行的优化方法。 当不能直接计算梯度时，或者当目标函数的准确分析形式未知时，可以使用其他方法，如进化策略。 进化策略是受自然选择启发的基于种群的算法的一个子集。 进化策略 (ES) 是一种黑盒优化技术，可根据候选对象的适应度改进样本分布。 它还根据方程式更新规则。
Deepmind 的研究人员开发了一种元黑盒优化 (MetaBBO) 方法，可以使用机器学习来学习更新规则。 这种新方法使 ES 更具适应性、可扩展性和灵活性。 MetaBBO 基于元学习 BBO 更新规则的神经网络参数化。 研究人员发现了一种新的 ES 类型，称为学习进化策略。 学习进化策略 LES 是一种类型 Set Transformer，它根据候选者的适应度而不是黑盒评估中候选解决方案的顺序来更新其解决方案。 元训练后，LES 将学会选择性能最佳的解决方案或根据移动平均线更新解决方案。
来源和详细信息：
https://www.marktechpost.com/2023/03/09/how-can-meta-learning-self-attention-and-jax-power-the-next-generation-of-evolutionary-optimizers/