«Мёртвые» нейроны делают функцию энергии плоской. Мы смогли это исправить и доработали выводы
Хопфилда и Кротова.
Мы с соавтором изучили, как выглядит ландшафт функции энергии, и выяснили, что она не подходит для многих современных нейронных сетей. Оказывается, что в случае, если какие-то активационные функции нейронов насыщаются, энергия становится плоской.
Так же как и фонари на улицах, нейроны могут гаснуть или, как говорят ученые, «умирать». «Мертвые» нейроны могут привести к образованию плоских областей в энергетическом ландшафте нейросетей. После этого узнать, что происходит в этих областях, становится невозможно.
Мы выяснили, что даже в сложных ситуациях можно собрать полезную информацию о сети и доказали, что если устойчивое состояние стабильно, то вся область вокруг него тоже стабильна, и сеть может эффективно работать, даже если некоторые нейроны мертвы.
→
Ссылка на нашу статью.
