1/2: комрад 𝜋 вот этим комментом спровоцировал меня посмотреть на обычный нейрон с очень неприличного любопытного ракурса. Давайте возьмём в руки обычный канонический нейрон, у которого функцией активации служит обычная сигмоида в виде логистической функции. Давйте спросим себя: а можем ли мы обойтись без логистической функции? можем ли обойтись без экспоненты? а можем ли мы вообще обойтись без функции активации? и вы знаете, оказывается можем! Просто вместо нашего обычного нейрона нам теперь понадобятся две вещи: 1. сеточка бесконечной глубины (или ширины!), которая будет реализовывать ряд тейлора для убитой нами функции активации. 2. а чтобы наша сеточка не была тривиальной линейщиной, сводимой к примитивной линейной операции, мы сделаем маленькое (и вполне легитимное?) позволение: мы разрешим в качестве весов нейронов использовать не только дурацкие константы, а также и выходы других нейронов. Благодаря этому у нас появляются полиномы! и всё. Больше ничего не надо! Нам не нужна функция активации, если у нас есть возможность умножать сигнал сам на себя и право на сети бесконечной глубины и/или ширины!