Стать специалистом по машинному обучению

Я, тут, с Raspberry Pi решил поиграться. Есть несколько задумок по автоматизации и добавлению ума дому. Нашел красиво оформленный cheat sheet с основными линуксовыми командами. Действительно, самые часто встречающиеся в работе на обычном линуксе плюс дополнительные полезные команды в контексте Raspberry.

7 вещей, которые я понял, работая в ML

Ребята из ML-команды Купера рассказали о главных инсайтах, которые они извлекли за время работы, дали советы начинающим специалистам, разобрали, как справляться с вызовами этой профессии.

💫Какими компетенциями обладает ML-специалист? 

💫Как помнить про цель и искать свой путь? 

💫Какие вызовы могут возникнуть при смене карьерного трека?

💫Почему важно думать про бизнес и решать правильные задачи? 

Ответы на эти и другие вопросы вы найдете в ролике на YouTube и в VK Видео!

Возможно, вы узнаете себя в этих историях и получите вдохновение для новых карьерных свершений!

Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: 2W5zFJiu8SC

В предыдущем посте я хвалил курс по MLOps. В третьей или четвертой лекции был рассказ про шаблоны и cookiecutter. У меня сейчас как раз задача, связанная с обоснованием работы по шаблону, для которой понадобилось сделать мем, чтобы разбавить сухое повествование.

Что ж, могу сказать, что ChatGPT уже довольно неплохо генерирует мемы и некоторые, прям, получаются.

Вот, пример. Картинку пришлось немного почистить от лишних объектов в другом сервисе и заменить изначальную надпись. Заняло все это час времени где-то, если не считать, что пришлось фотошоп переустановить :)

Каюсь, лежит у меня этот плейлист запланированным для просмотра довольно давно, но только сейчас дошли руки начать смотреть. И это просто кайф! Павел Кикин на проятяжении 10 роликов рассказывает о том, как должен быть устроен нормальный ML в компании. При этом Павел сам в ML пришел из бэкэнда, а поэтому очень много про версионирование, стиль кода, документацию, управление зависимостями... Очень структурированный и полезный материал! Смотрю уже четвертое занятие - еле оторвался мини-пост написать 🙂
MLOps и production подход к ML исследованиям 2.0

В современном мире в обилии контента довольно легко потеряться и не так просто стало удивлять, поэтому новость о том, что прошел финал международного чемпионата по программированию Yandex Cup 2024 я начинал читать просто для галочки, чтобы быть в курсе того, что еще происходит в индустрии. Но когда я дошел до главной темы, вокруг которой объединились участники чемпионата, интерес проснулся.

В рамках темы "цифровая цивилизация" участники изучали историю и быт древних цивилизаций с помощью современных технологий и решали задачи, посвящённые знаменитым творениям, событиям и личностям прошлого. Ребята с помощью программирования расшифровывали древние письмена, анализировали торговые пути, настраивали систему драккаров в порту викингов, оцифровывали бюллетени Древнего Рима.

Также зацепил "Музей Айтичности", где посетители могли представить, как через много лет могут выглядеть артефакты современной IT-культуры. Сразу вспомнилась история про то, что современные археологи тоже проводят раскопки древних городов, все описывают, каталогизируют, а затем... закапывают обратно. Три кофе-машины... два кулера... 15, нет, 16 ноутбуков. Записал? Закапывай 🙂

Все проходило в Ташкенте, участвовали специалисты из 90 стран, среди которых были даже юниоры (от 14 до 18 лет). Призовые места заняли 94 человека из России, Беларуси, Японии, США, Великобритании и Португалии и разделили между собой призовой фонд в 16 млн рублей. Особо внимание, кстати, уделили поддержке ML: количество финалистов увеличилось с 6 до 22, а к изначальной сумме призового фонда добавилось 3,5 млн рублей.

Несколько лет назад я смотрел ролик на ютубе о самой загадочной песне в интернете. Ролик очень цепляющий. О том, как комьюнити на реддите несколько лет искало песню, записанную на аудиокассету где-то в первой половине 80-х годов. К сожалению, финалом того ролика было то, что сообщество, потратив кучу усилий и раздобыв тонны информации, все-таки зашло в тупик. Помню, именно тогда я начал обращать внимание на то, как люди, сплоченные одной целью, могут проводить расследования и находить ответы на сложные вопросы по довольно слабым зацепкам.

Ну, и вчера ютуб в рекомендациях мне подсунул свежий ролик от того же автора, который назывался "Эту песню искали 20 лет... И НАШЛИ". Я отложил просмотр, потому что был занят рабочими вопросами и, вот, только что посмотрел. Ну, во-первых, еще одно очень цепляющее видео с продолжением расследования. Здесь и мошенники, пытающиеся заработать на популярности песни неизвестной группы, и новички, считающие, что они нашли разгадку, тупо "прошазамив" песню, и тролли, подделывающие постеры, аудиозаписи и другие артефакты, чтобы увести расследование по ложному пути, и подозрения в мистификации, и полусекретные правительственные организации с большим архивом записей прослушек граждан. Крутейший детективный сюжет, по которому точно фильм надо снимать (или даже сериал). Во-вторых, песню (а точнее, ее авторов), таки, нашли. Буквально в этом месяце. Они оказались живы, хотя возраст уже за 70. Ну, а в-третьих, то, что подтолкнуло меня к написанию этого поста, кроме желания поделиться классной историей, это то, что в поисках очень помогла специально обученная на материалах расследования нейросеть, которая довольно быстро сделала верное предположение об авторстве песни и всячески помогала в поисках.

В общем, если любите такие истории - однозначно рекомендую к просмотру оба ролика. Они цепляют! Да и про способы применения ML заставляют в очередной раз подумать.

1-я часть (в целом, краткое содержание есть во второй части, но может быть интересно в исторической ретроспективе).
2-я часть.

Очень интересная статья вышла на Хабре про то, как тестируют "интеллект" моделей, написанная простым языком так, что понятно даже неспециалистам. Интересным мне показалось не только то, какое разнообразие бенчмарков существует, но и то, как борются с ликами (протечками). Это когда часть данных, на которых нужно тестировать модель, содержится в тренировочном датасете из-за того, что он очень большой, а в интернете бывало всякое, в том числе и данные бенчмарков в каком-то виде. У этого даже специальный термин есть - загрязнение бенчмарка.

Еще узнал, что у подхода, когда модель выдает пользователю два ответа, из которых нужно выбрать лучший, есть серьезный байес в сторону IT-вопросов. Потому что, в основном, такими моделями пользуются именно IT-шники, задавая соответствующие технические вопросы, а хотелось бы универсальную модель, которая на любые темы сможет общаться.

В целом, подход, когда человек оценивает качество ответа модели вполне рабочий, но как когда-то модели научились зарабатывать максимальное количество очков, крутясь на месте в игре, где надо было управлять катером, так и здесь нейросети поняли, что человек выше оценивает ответы модели, если они оформлены определенным образом (развернутый, структурированный ответ со множеством отсылок), не смотря на то, что такие ответы могут быть менее качественными и даже содержать ошибки.

Статья от экспертов Яндекса, как раз занимающихся большими моделями, поэтому отдельно есть рассказ о подходах к решению этих проблем для их моделей. Там довольно протяженный пайплайн, в котором, на некоторых этапах, всё еще участвуют люди - как эксперты в ИИ, так и специалисты других направлений

В общем, отличная статья, погружающая в проблематику оценки "интеллекта" LLM. Рекомендую!

AGI (ИИ общего назначения) уже здесь?!

А не пора ли нам поразмышлять на тему AGI 🙂 Встречайте новый выпуск подкаста!

В гостях Лекс Кравецкий - популяризатор науки в области математики и Computer Science, исследователь искусственного интеллекта и его влияния на общество. Выпуск у нас сегодня больше философский, чем технологический, потому что иногда стоит делать остановки и рефлексировать по поводу места человека среди технологий. Можно ли сказать, что искусственный интеллект человеческого уровня достигнут? А что если нейросети "чувствуют"? Какого цвета стоп-кран в самолете? Можно ли приготовить свиные крылышки по рецепту, написанному ChatGPT? Как построить коллегию искусственных интеллектов, принимающих решение путем дебатов и голосования? Как научить нейросеть ругаться матом? Будет ли ИИ конкурировать с человеком за ресурсы и чем нам это грозит? Захочет ли ИИ нас уничтожить или решит, что сотрудничать выгоднее? Почему мы до сих пор не доверяем беспилотным транспортным средствам, хотя статистика требует уже давно начать доверять? Как тестировать свои идеи с помощью ИИ? Надо ли становиться архитектором промптов? Куда деться человеку от нашествия роботов? Возможны ли фейковые профессии? Как начать получать удовольствие от процесса с помощью фармакологии? Обо всем этом в выпуске!
https://mlpodcast.mave.digital/ep-66

Еще недавно для того, чтобы внедрить искусственный интеллект в компании, нужно было либо нанимать ML-специалиста/специалистов, либо заказывать решение "под ключ", либо искать проверенных консультантов. И при этом риск того, что по итогу ML в компании окажется ненужным (задачу можно было решить проще без ML или от ML у владельцев/управляющих/менеджеров были слишком завышенные ожидания) оставался слишком высок в пересчете на затраты в рамках исследований. Далеко не каждый бизнес мог позволить себе такие затраты. А попробовать ИИ ведь хочется. Тренды, хайп, "а чего это у конкурентов уже есть, а у меня нет?", поиск точек роста и так далее. У меня даже несколько знакомых предпринимателей переквалифицировались в ML и около-ML инженеров, чтобы лучше разобраться в том, что происходит.

Естественно, раз есть интерес и спрос, будут появляться решения, с помощью которых можно без серьезных специальных знаний попробовать новые подходы для решения бизнес-задач. Одним из самых зарекомендовавших себя способов внедрения больших языковых моделей стали RAG-системы, когда в контекст модели подмешивается информация из документов компании и ответы становятся более точными и основанными на новых данных, которые модель не могла видеть ранее. Здесь LLM выступает сначала как переводчик человеческого запроса в запрос к векторной базе, полученной на основе базы знаний компании, а затем, как анализатор поисковой выдачи, чтобы сформировать конечный ответ на человеческом языке.

Конечно, можно вооружиться питоном, взять какой-нибудь LangChain или другие фреймворки для построения подобных систем и написать все самому. Но, повторюсь, это вряд ли под силу любому бизнесу, особенно, никак не связанному с IT. И тогда можно смотреть в сторону "конструкторов", где через инструменты с графическим интерфейсом можно создавать пайплайны под свои задачи. Вот такой инструмент (AI Assistant API) сейчас запустил Yandex Cloud и под капотом там их последние модели на выбор. Пока с помощью таких пайплайнов можно улучшать тексты, готовить учебные материалы для сотрудников, автоматизировать ответы техподдержки на частые вопросы и так далее. Но, думаю, постепенно это все будет развиваться в сложных и довольно умных агентов, которые смогут упростить бизнес-рутину.

Авторы курса MSU.AI. Зачем учёному ML?

А вот и сам выпуск!

Сегодня в гостях сразу 3 гостя - это авторы и преподаватели курса "Нейронные сети и их применение в научных исследованиях" в МГУ им. В.М. Ломоносова - Виктор Немченко, Сергей Колпинский и Артём Васильев. Ребята участвуют в крутейшей, на мой взгляд, инициативе - созданию учебных материалов по ML и преподаванию машинного обучения студентам, аспирантам и научным сотрудникам, чтобы помогать им внедрять методы ML в свои научные исследования. А говорим мы о том как и зачем вообще родилась такая инициатива, почему сейчас сложно представить учёного, который не пользуется методами машинного обучения, почему все материалы курса в открытом доступе для всех желающих. Также обсуждаем умер или продолжает жить и развиваться научпоп, заменит ли ИИ учёных в ближайшее время, где взять мотивацию на изучение нового и как среди этого "нового" не потеряться, почему учёные не ищут легких путей и что за датасеты на салфетках, нужен ли ML юристам, как посчитать сколько съели голодные жуки, как читать научные статьи, если ничего непонятно, почему Нобелевскую премию за машинное обучение дали по физике и почему важно считать протеины. Интересного и полезного прослушивания!
https://mlpodcast.mave.digital/ep-65

В течение нескольких минут выложу свежий выпуск подкаста и так как в описании к выпуску не помещаются все ссылки, которые хотелось бы туда добавить - опубликую некоторые из них здесь. Это ссылки на кейсы, которые обсуждали:

1. Поиск артефактов на снимках (https://rutube.ru/video/0104fd24025dfe7ee85daf6d4dcfd99c/?r=wd).

2. Автоматическое детектирование клеток для теста Allium Cepa L (https://vk.com/video-204135333_456239379).

3. Использование нейронных сетей для измерения площади повреждения листьев фитофагами (https://rutube.ru/video/3a323cd4468f7be2d373be1f3cb0ae69/?r=wd).

4. Самоюстирующиеся оптические системы на основе машинного обучения с подкреплением (https://rutube.ru/video/0cf5bda51d1e07cc4eb005490b85ce58/?r=wd).

Забыл сообщить, что на YouTube доступна вторая часть лекции Сергея Николенко (Что происходит в AI сегодня). Она сложнее предыдущей, но тем, на мой взгляд, и интереснее. Сергей рассказал про устройство трансформеров и про многие перспективные направления в ИИ. В частности, меня очень заинтересовали сети Колмогорова-Арнольда, которые в автоматизированном режиме генерируют формулы, описывающие данные. Также был блок про научные работы Сергея и его коллег, значимые для мирового сообщества. Если еще не решили чем заняться в пятницу - рекомендую!

Обалдеть! В детстве я очень любил группу Pink Floyd, слушал ее еще на кассетах и не знал не только как альбомы называются, но даже названия песен придумывались сами, в зависимости от контекста. Интернета, чтобы подсмотреть не было. Да, были такие времена еще совсем недавно.

Один из любимых альбомов у меня был Wish You Were Here. Название я узнал только через несколько лет, как приехал в СПб учиться, и во время прогулок общался с продавцами музыкальных ларьков, пытаясь объяснить какая музыка была на альбоме, который мне нравился. Первая песня там была Shine on Your Crazy Dimond, под которую я часто засыпал. Космическая музыка во время которой я постоянно представлял космос, странные сооружения на других планетах, людей будущего и так далее... В общем, нахлынули воспоминания 🙂

А нахлынули потому, что я наткнулся на YouTube-канал, на котором куча клипов группы Pink Floyd (и не только), сгенерированных нейросетями. И я просто залип. Как быстро наступило будущее. Кажется, еще только-только кассетные плейеры сменились дисковыми, а уже довольно неплохие клипы на любимые композиции генерируются почти автоматически...
https://www.youtube.com/watch?v=avISxwo8-Ao

Всем привет!

Открываю регистрацию на второй поток AI-школы: “AI: от основ до языковых моделей”.

Начинаем: 18.11.2024.

Наша главная цель: принципы машинного обучения и основные AI-архитектуры должны стать понятными и прозрачными. Как и всегда, акцент на реализации всех архитектур с нуля. Никаких fit/predict.

КУРСЫ
Основной курс:
– AI: от основ до языковых моделей (теория и практика)

Дополнительные курсы (включены в стоимость):
– Math for AI
– Python for AI
– Decision making in AI
– MLOps

НОВЫЕ ТЕМЫ (по сравнению с первым потоком):
– Анализ временных рядов с помощью Transformer;
– Deep metric learning в комьютерном зрении (задачи распознавания лиц и подобные);
– Сегментация изображений;
– Архитектурные элементы современных LLM: SwiGLU, Group Query Attention, RoPE.

CAPSTONE PROJECT:
– Реализация с нуля своей языковой модели (как Llama 3, только маленькая) и обучение на генерацию текстов на русскоязычном датасете. С подъёмом на сервере в собранном вами Docker-контейнере.

ЦЕНЫ (обновлено)
- Полный курс при полной оплате: 127 000 рублей (помесячно: 14900 в месяц, 10 месяцев).
- Advanced-часть при полной оплате: 112 000 рублей (помесячно: 17000 в месяц, 7 месяцев).
- Advanced-часть при полной оплате до 1 декабря 2024: 102 000 рублей.

Если вас не устраивает качество материалов, вы можете вернуть деньги за все оставшиеся оплаченные месяцы и последний прошедший месяц.

ПОДРОБНОСТИ И ОТЗЫВЫ
Подробности по ценам, количеству материалов и отзывы здесь:
https://razinkov.ai/school/about

СТРИМ С ПОДРОБНОСТЯМИ
В среду, 13 ноября, в 13:00 по Москве, по ссылке:
https://youtube.com/live/ii4H-KZ1m3k?feature=share

РЕГИСТРАЦИЯ
https://forms.yandex.ru/cloud/6729e2bef47e733d56c3ca15/

❗️ВАЖНО: у нас будет от 5 БЕСПЛАТНЫХ МЕСТ для талантливых студентов (точное количество будет известно, когда получим все заявки).
Если Вы являетесь студентом профильных специальностей (математика/IT), имеете средний балл близкий к 5.0 и хотите окнунуться в ML, пожалуйста, заполните заявку здесь:
https://forms.yandex.ru/cloud/672a3f0949363955016ff483/