Как получить hard-батч из super-batch? Сэмплы, итерационно, добавляются чанками (n_chunks), причем на каждой итерации добавляются наиболее путаемые* с уже существующими в батче. *на самом деле здесь сэмплирование, а не добавление «в лоб». Если вернуться к sigmoid-лоссу, то внутри происходит подсчет logsigmoid-матрицы на основе img/text alignment-матрицы. Именно с 1-ой и работают авторы. Ее размер (bs, bs), и ее можно назвать матрицей ошибок. На практике, у нас есть learner — модель, которую мы будем обучать и reference — модель, которая уже умеет матчить картинки с текстами. Для каждого super-батча и 2-ух моделей авторы получают 2 logsigmoid-матрицы, вычитая, которые получают learnability scores — матрицу ошибок, значения которой выступают в роли логитов для сэмплирования следующих элементов в батч (exp(scores)) чтобы подтолкнуть learner к reference. Пример: Допустим у нас есть super-батч размера 1000 элементов. filter_ratio выберем 0.88 — это гиперпараметр, отвечающий за пропорцию оставленного hard-батча, (итоговый hard-батч будет 1000 * 0.12 = 120 элементов). n_chunks выберем 10, то есть будем итеративно (10 - 1 = 9) раз добавлять в hard-подбатч по 12 сэмплов. После dataloader-а, learner (обучаемый) и reference (замороженный) прогнозируют свои logsigmoid-матрицы, которые вычитаются, и в результате остается learnability scores матрица (1000, 1000). Первоначально батч инициализируется 12 элементами на основе такой матрицы. Далее, для выбранных элементов из этой матрицы берутся 2-подматрицы (12, 1000) и (1000, 12), которые суммируются и для оставшихся 988 элементов получается сумма logsigmoid-ошибок с существующими. Таким образом следующие 12 сэмплов будут сэмплироваться на основе ошибок с существующими. Алгоритм набора сэмплов повторяется n_chunks - 1 раз. ** Прогнозы reference-модели можно закэшировать, чтобы не прогнозировать ею один и тот же сэмпл каждую эпоху. *** Можно в качестве learnability scores выбрать только матрицу ошибок reference-модели, но это хуже чем учитывать 2 матрицы (статья: фигура 3 middle vs right). **** Можно в качестве learnability scores выбрать только матрицу ошибок learner-модели, но это черевато бэкпропингу на мусоре (или слишком общих описаниях).