最近,研究人员提出了一种名为 AutoML-GPT 的全新自动机器学习方法,该方法利用大型语言模型 GPT,实现了自动化模型训练管道。这种方法通过开发面向任务的提示并利用 GPT 自动进行模型架构、优化算法和超参数的训练,从而消除了人类在寻找合适的模型结构和优化算法方面的努力。

AutoML-GPT 将用户请求从模型和数据卡中动态获取,并组合相应的提示段落。最终,通过这个提示段落,AutoML-GPT 将自动从数据处理到模型架构、超参数调优和预测训练日志等方面进行实验。利用 GPT 强大的语言能力和现有的 AI 模型,AutoML-GPT 可以处理各种复杂的 AI 任务。

此方法在计算机视觉、自然语言处理和其他挑战性领域取得了显著的成果。广泛的实验和消融研究表明,我们的方法具有普适性、有效性和益处,可应用于许多 AI 任务。

相关链接:https://huggingface.co/papers/2305.02499