Время Валеры

Кофаундер датабрикса, помимо работы СТО в компании, еще и статьи пишет - WORLD MODEL ON MILLION-LENGTH VIDEO AND LANGUAGE WITH BLOCKWISE RINGATTENTION

Выглядит как отчёт о работе нормальных инженеров, которые решили попробовать что-то новое и описали результаты на arXiv.

Берут Blockwise Ring Attention, аннотируют данные (включая видео и текст) по-разном, постепенно скармливают всё это в модель, увеличивают контекст до миллиона токенов и радуются.

Из интересного – используют Masked Sequence Packing.

Предположим, у нас есть текст длиной 500 токенов, видео длиной 1 000 токенов и книга длиной 10 000 токенов. Вместо того чтобы обрабатывать каждую последовательность отдельно (с огромным количеством padding), модель объединяет их в один батч и добавляет маску, чтобы в каждый момент времени была видна только соответствующая часть каждой последовательности.

Затем лосс от каждого токена перевзвешивают по длине секции. Без этого самая длинная последовательность перевесила бы всё остальное. И радуются жизни.

В целом прорыва нет, просто разумная инструкция

Нашел зал по ММА в Куала-Лумпуре.

Зал довольно неплохой, его сделали выступающие в ONE FC бойцы. Например, тренер по борьбе — парень из Ирана, а по джиу-джитсу выписывают специалистов из Бразилии.

Сегодня моим тренером был бразилец, который всего 15 дней как переехал в КЛ. После спарринга спрашиваю: как думаешь, какой у меня пояс? Он говорит: белый? Правда, по-английски он почти не понимает, не знает, как будет «пятнадцать», и часто отвечает «Si».

Поэтому я сказал «Si», и он с уважением пожал мне руку.

Forbes did it again

An AI startup CEO on a Forbes '30 Under 30' list has been charged with defrauding investors out of $10 million

Кстати, если кто-то проживает в Куала Лумпуре

Можно устроить встречу, ужин, митап

Я как раз сейчас там, до 7 декабря

Кажется, нет более ненадежной вещи в мире, чем тренера по Джиу Джитсу. Однажды вышло так, что у меня должно было быть три персональных тренировки в один день, каждая - с разным тренером.

За день до, один из них слился, и я подумал - ну и слава богу, три - многовато. Но удар пришел откуда не ждали, на следующий день слились два оставшихся, что превратило интенсивный день - в день отдыха. Надо сказать что все три - те с кем я регулярно тренируюсь, а не случайные чуваки

Кажется меня раскрыли

Вышло видео, где обсуждаю свои карьерные планы

По итогам 3 месяцев ледяной бочки - жим лёжа сдвинулся со 180*1 до 180*3

Осталось два вопроса

1. Стал ли я стат значимо в три раза сильнее
2. Значит ли это, что по итогам 9 месяцев стоит ожидать жима 180*9

В детстве нас учили не брать конфеты у незнакомых дядек. Многие даже следовали этому совету.

Однако раз в году наступает момент, когда дети приходят к незнакомым дядькам и требуют с них конфеты.
Сегодня наступил именно такой день и первый раз, когда я встречаю его в собственном дому в роли незнакомого дядьки

Закупил 160 мини сникерсов, твиксов и скитлс
90 мини M&M
85 пакетиков мармелада маленьких
24 пакетика мармелада больших

До украшательства дома, я конечно еще не дошел, но тыкву купил
Кажется, надо прикупить еще пару коробок больших сникерсов и выдавать их за особо крутые костюмы

Определилось расписание на месяц путешествий.

18 ноября: Лондон - Куала Лумпур
8 Декабря: Куала Лумпур - Бангалор
11 Декабря: Бангалор - Пуне
18 Декабря: Пуне - Мумбай
20 Декабря: Мумбай - Лондон

Из неприятного - 4 декабря планировал получить пурпурный пояс по БЖЖ, придется пропустить грейдинг и ждать ещё полгода

Жаль, с пурпурного пояса можно уже учить других, была бы запасная профессия, после того как ИИ заменит таких как я

Хорошая обзорная статья от Lilian Weng - Thinking about High-Quality Human Data


1. Как размечать данные, особенно когда задача разметчика - максимально быстро прокликать ваши задания, а ваша - получить максимально качественную разметку. От создания процесса, до оценки (Majority Voting, Multi-Annotator Competence Estimation, Descriptive vs Prescriptive). Есть даже таксономия того, по каким причинам разметчики могут между собой не соглашаться

2. Если датасет уже размечен, как выявить ошибку разметки автоматически? Сюда входят различные трюки с уверенностью модели в предиктах. Самый простой пример - если семпл тяжко учится, может быть это потому, что он некорректно размечен?

Из более сложных - AUM (Area under the Margin), насколько общий поток градиента спорит с конкрентым сэмплом

В целом - рекомендую ознакомиться, особенно тем, кому предстоит размечать данные в автоматическом режиме через людей

Вышло исследование рынка продуктовых и дата аналитиков от new HR - у них всегда приятная инфографика и вменяемые вопросы. От зарплаты - до экспертов.

А также топ и анти топ по компаниям, где люди хотят и не хотят работать. Выглядит так, что у Сбера, ВК и Ростелекома большие проблемы с HR Брендом, а у Яндекса, Авито и Авиасейл - все неплохо. Х5 держит баланс по Дао

UPD: Сейчас оказывается собирают информацию для нового исследования

Поездка в Баку прошла неплохо

Встретился пару раз с местным дата комьюнити
Выступил в университете
Встретился с СТО и синьором из стартапа в Дубае, где они будут работать на пике технологий gen AI
Дал, как минимум, три полезных совета
Съездил в Гобустан
Выступил на конференции и затем пообщался с ребятами из местного гиганта
Сходил в офис БиПи, много говорил
Ел лучшие помидоры в мире

Оценка Баку - очень хорошо, надо приезжать ещё.
Вкусно, приятно, хорошие люди.

Из минусов - пробки и воздух.

Теперь можно наконец-то то разобрать залеж статей с февраля этого года. Из следующего - заплыв в KL и Индию в ноябре/декабре

Стою в лобби конгресс центра перед выступлением. Мимо проходят две девушки и парень.

У девушки на сумке огромные буквы fendi. Слышу краем уха, что она говорит про некое выступление в 2 часа дня и что там будет Бабушкин, который знает про Data Science

Видимо придется идти

Провели исследование онлайн курсов. Неожиданно оказалось что Карпов Курсес в топе

Хинтон получил Нобелевскую премию. Долгий путь от задворок и насмешек, до всемирного признания

В Гугле он был L8, L9