Кроме этого, есть ещё два чуть более наглядных примера. В первом модель тренируют генерировать изображения на датасете CelebA (фотки лиц знаменитостей). В них выделяют две пары концептов, но нам интересна одна из них: Gender и With Hat. То есть всего 4 комбинации: — мужчина без головного убора — женщина без головного убора — мужчина в головном уборе — женщина в головном уборе И вот последнюю отщипывают и никогда не показывают модели во время тренировки. Головные уборы она видит только на мужчинах. Если тренировать модель 2 миллиона шагов (более чем достаточно) и замерять качество, то как будто бы получается, что невозможно сгенерировать женщину в головном уборе. «Ну конечно!» — скажут критики нейросетей, «это же очевидно. Никогда не показывали такие фотки — модель и не сможет!». Но вот если поменять способ тестирования даже на усиление сигнала в пространстве активаций (не оверпромптинг, хз почему от него отказались), то оказывается, что ещё в первой половине тренировки модель уже справлялась с задачей и обладала навыком композиции двух разных концептов (сгенерированные картинки справа). А если этого не делать — то легко сидеть и говорить, что модель нихрена не может и не выучила.