предсказание следующей буквы в тексте стало ключевым в целеполагании для громадного успеха LLM. вангую, что установка на предсказание следующих текстов в хронологически отсортированных текстах станет не меньшим потрясением. отношение порядка для букв играет ключевую роль для развития нарратива текста. Но для понимания и предсказания того, куда мы идем в историческом масштабе важно сортировать не только буквы. текст — это одномерная структура, а множество текстов, пусть даже отсортированных во времени — все же нет. Отчасти и поэтому, уверен, что в этом контексте опять будут востребованы идеи, которые использовали в Stable Diffusion моделях. Каждый текст — это как цветной многомерный пиксель в историческом кино. Мы знаем приблизительно на каком кадре этого кино этот текстовый пиксель появился. А еще, в отличие от обычного кино, "цветовое" (векторное) значение этих текстовых пикселей не любит исчезать со временем. Историческое кино как бы все время растет в своей размерности, ибо старые кадры проглядываются сквозь свежие.