用于可重复研究的超参数优化库

该表还显示了迁移学习方法的平均归一化排名。 超参数迁移学习使用过去 HPO 任务的评估数据来热启动相关 HPO 任务。 这可以导致实践中的显着加速。

Syne Tune 通过将调度程序和传输学习数据映射到前者的热启动实例的抽象来支持基于传输学习的 HPO。 ASHA 分位数和边界框 ASHA 分别称为 ASHA – BB 和 ASHA – CTS。 我们还考虑了零样本 (ZS) 方法，该方法根据历史性能选择与先前考虑的超参数配置相辅相成的超参数配置。 正如预期的那样，我们发现迁移学习方法可以加速 HPO。

Syne Tune 是一个强大的工具，可以使自动化机器学习研究更加可靠、高效和值得信赖。 它通过对列为一等公民的基准进行模拟，使计算预算适中的研究人员可以进行超参数优化。 它通过支持高级用例（例如超参数学习）来更好地解决问题。

来源和详细信息：
https://www.amazon.science/blog/a-hyperparameter-optimization-library-for-reproducible-research