Че за Symbolic Search и как он ищет новые оптимизаторы? Условно, Symbolic Search — это Эволюционый Поиск для программ на стероидах. Параллельно запускается целая популяция программ. Из них выбираются те, что лучше всего перформят на целевой задаче (в нашем случае — это оптимизация нейронок). Далее к лучшим применяются мутации, то есть в них случайным образом менется часть кода. И цикл продолжается. Через много-много сожженных МВатт⋅часов мы получаем финальную програму с наилучшим перформансом на целевой задаче. Для любопытных — подробности в блогпосте AutoML-Zero от гугла (2020). @ai_newz