Пристанище Дата Сайентиста

#llm #blog

Как ускорить LLM и снизить затраты. Edge модели

Пост в блоге

Краткое содержания блогпоста:
- RouteLLM снижает расходы на LLM в 3,6 раза, оптимизируя выбор между сильной и слабой моделью для разных запросов.
- Meta Llama 3.2 (1B и 3B параметров) — компактные модели для edge-устройств с 45-60% снижением памяти при сохранении точности.
- Ministral 3B и 8B — высокопроизводительные модели для локальных вычислений, поддерживающие контекст до 128k токенов, идеально подходят для конфиденциальных задач.

#hackathon #SafeSpeak #AIRI #МТУСИ

Команда AIRI и МТУСИ организуют соревнование, посвящённое борьбе с голосовыми дипфейками. Регистрация открыта только до конца сегодняшнего дня, есть шанс запрыгнуть в последний вагон 🚀🚀🚀

Участникам предстоит разработать CM‑модель в open‑условиях, делюсь ссылкой на регу

Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов

Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе.

Друзья, я решил запустить новый формат – профессиональное комьюнити для тех, кому хочется больше личного общения, помощи в работе и карьере. В отличие от этого публичного канала, там мы сможем пообщаться в живую и разобрать интересующие вас кейсы.

🚀Что будет в чате?
– CV ревью. Ревью ваших резюме, cover letter и профилей в линкедин
– Советы и рекомендации. Рекомендации и советы по профессиональному развитию, поиску работы и так далее
– Общение. Просто общение обо всем
– АМА сессии. АМА сессии со мной и приглашенными гостями
– Поиск фриланс заказов. Бывает так, что ко мне обращаются с каким то заказом, но в силу разных обстоятельств не могу их делать сам и готов ими поделиться
– Запуск сайд- и пет-проектов. Мини-батчи как в акселераторах, «офисные часы» с ответами на вопросы подписчиков, помощь с запуском пет-проектов.

Запуск сайд- и пет-проектов силами участников это большая и амбициозная цель: хочется сделать условия, чтобы у участников получались реальные проекты, пусть и маленькие. Кроме этого мы будем искать новые идеи пет-проектов вместе. Можно будет почувствовать на себе каково это - делать проект с нуля.

👩‍💻Кому будет чат полезен?
– Тем кто вкатывается в Data Sciencе или хочет выйти на новый уровень
– Тем, кто хочет делать стартап, но не знают, как начать
– Тем, кто хочет изучить новые технологии и найти им применение на работе

🤑Какая стоимость?
– Подписка на 1 месяц стоит всего 19 Евро. Стоимость чисто символическая для тех, кому это интересно, и неподъемная для тех, кто просто мимо проходил. Верю, что выборка людей будет бомба!
– Но при оплате в октябре скидка 30% на первый месяц и вы получаете гайд по подготовке к интервью по классическому Data Science на русском и английском языках. Стоимость каждого 5$ если вы бы их покупали по отдельности
– Оплачивается все внутри Телеграма в официальном приложении Tribute

А еще вас ждет первый фриланс заказ, которым я готов поделиться =)

🧐Почему стоит купить подписку именно у меня?
– Последний год помогаю стартапам решать их ML задачи. Среди моих клиентов: Scaanz, Welltech, FindMyKids, UnimatchAI, Conformal Group и др.
– Более 6 лет был на менеджерских позициях и нанимал себе сотрудников. Занимался развитием компетенций и экспертизы в команде.
– 2 года менторил студентов Яндекс Практикума многие из которых трудоустроились в Яндекс, Билайн, AliExpress CIS, X5, Kaspi, и др.
– Я сам искал работу/ проекты/ заказы и не раз.

👉Оплатить подписку со скидкой: https://t.center/tribute/app?startapp=sf1a

💵 А если вам не нужна подписка и вы просто хотите поддержать канал — жмите сюда

Если есть вопросы, то всегда мне можно написать или тут в комментах

Зарплаты data-специалистов за три года выросли на 40% 
 
Kolesa Group провели третье исследование казахстанского рынка data-профессий. 
 
Выяснилось, что профессия повзрослела с 2021 года: специалистов 26-30 лет стало больше на 15%. Доля специалистов в Алматы и Астане выросла на 6%. За три года вырос и общий стаж работы аналитиков, специалистов с опытом от 3 до 5 лет выросло с 38% до 49%. 
 
Зарплаты: 
• Data Science — 825 000 тенге, медиана — 1 099 576 тенге; 
• Data Analysis — 650 000 тенге, медиана — 857 485 тенге; 
• DWH — 824 000 тенге, медиана — 1 081 145 тенге; 
• ML — 1 350 000 тенге, медиана — 1 600 769 тенге; 
• BI — 650 000 тенге, медиана — 726 639 тенге; 
• Прочее — 925 000 тенге, медиана — 929 180 тенге. 
 
За последние три года средняя заработная плата увеличилась примерно на 40%. Количество аналитиков, работающих в финтех-компаниях, возросло на 17%. Удаленная работа (42%) больше ценится среди респондентов, чем корпоративная культура компании (35%).

Митап для NLP специалистов от Beeline Kazakhstan и QazCode | 24.10.2024, 17:00 | Almaty

Я и мои бывшие коллеги из QazCode, Big Data Team Beeline соберемся подискутировать о языковых моделях!

Beksultan Sagyndyk поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Бексултан - один из тех, кто разрабатывает ИИ на казахском в Beeline Казахстан и QazCode.

А после останемся на обсуждение применения NLP в бизнесе: как применять LLMs в реальных кейсах. Расскажу о кейсах, которые я накопил за более чем год фриланс и консалтинг деятельности.

Дата: 24.10, 17:00
Место проведения: DAR U, Коктем-2, 22, 4 этаж

Мероприятие бесплатное, но количество мест ограничено, регистрация по ссылке

#llm #blog

Трендовые статьи по Large Language Model

Пост в блоге

Краткое содержания блогпоста:
- самокоррекция в LLM через обучение с подкреплением: Google Deepmind предложили инновационный подход для повышения способности больших языковых моделей (LLM) к самокоррекции.
- квантование LLM для выполнения инструкций: Было установлено, что методы квантования существенно влияют на производительность LLM. Ключевое наблюдение – квантование моделей с большими параметрами (405B) часто дает лучшие результаты.
- память в LLM: Было доказано, что LLM обладают памятью, а архитектура Transformer выполняет функцию аппроксимации входных данных, демонстрируя «память Шрёдингера», которая активируется входными данными.
- Logic-of-Thought для улучшения рассуждений LLM: Новый подход Logic-of-Thought (LoT) показал значительное улучшение производительности LLM на задачах логического рассуждения, в частности, на наборах данных ReClor, LogiQA и ProofWriter.

Пост в блоге

#llm #blog

Основные тенденции в развитии рассуждений LLM

Решил вместо трех маленьких постов сюда в телеграм канал сделать один большой пост про  тенденции в развитии рассуждений LLM.

Краткое содержания блогпоста:
- Chain of Thought (CoT) – это техника, которая значительно улучшает производительность в задачах, связанных с математикой и логикой, благодаря добавлению промежуточных шагов рассуждений. CoT может применяться избирательно, что позволяет сохранять вычислительную эффективность.
- Diagram of Thought (DoT) – предлагает новый способ структурирования рассуждений через направленные ациклические графы (DAG). Это позволяет моделям выходить за рамки линейных или древовидных рассуждений, охватывая более сложные и строгие логические выводы.
- Iteration of Thought (IoT) – внедряет динамический процесс корректировки рассуждений через агент внутреннего диалога. В отличие от жёстких процессов CoT и DoT, IoT адаптируется к промежуточным результатам, позволяя моделям точнее уточнять ответы на сложные вопросы.

Ссылка на блог пост

#llm #blog

Все новое из мира Large Language Model

За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).

Собрал все в один пост в своем блоге

Там вы найдете информацию про новые версии Gemini, новую модель DataGemma от Google, супер новинку Llama 3.2 с возможностями Computer Vision

Всем приятного чтения: https://alimbekov.com/%d0%b2%d1%81%d0%b5-%d0%bd%d0%be%d0%b2%d0%be%d0%b5-%d0%b8%d0%b7-%d0%bc%d0%b8%d1%80%d0%b0-large-language-model/

Материалы с курса ML System Design

Два моих хороших товарища Mikhail Rozhkov и Alexander Guschin выложили в открытый доступ материалы по ML System Design курсу в HARBOUR.SPACE в git

C Мишей мне довелось поработать над курсом MLOps для Data Science и разработки ML моделей, а с Сашей часто общаемся по самым разным вопросам =)

Так же советую ознакомиться с постом на medium

И подписаться на канал Саши в телеграме

#llm

Галлюцинации LLM

Вы слышали про галлюцинации у LLM моделей?
Очень много работ и техник пытаются решить эту проблему

Но вот совсем недавно вышла статья утверждающая, что структурные галлюцинации никогда не могут быть устранены из LLM. И это независимо от модели, RAG, или мер защиты/постобработки.

Термин структурные галлюцинации вводится именно в этой статье.

Авторы проводят анализ опираясь на теорию вычислений и первую теорему Гёделя о неполноте, которая касается неразрешимости задач, таких как задачи остановки, пустоты и принятия.

Авторы утверждают, что на всех этапах процесса работы LLM — от составления обучающих данных до поиска фактов, классификации намерений и генерации текста — существует ненулевая вероятность появления галлюцинаций.

Действительно ли от галлюцинаций у LLM моделей не возможно избавиться? Как вы думаете?

#LLM

Могут ли LLM придумывать новые идеи для рисерча?

Как показала статья от исследователей из Стэнфорда да могут.

По результатам статьи выявлено, что идеи, сгенерированные LLM, оцениваются как более новаторские (p < 0.05), чем идеи экспертов-людей.
Однако их гибкость была оценена несколько ниже.

Также сообщается, что LLM испытывают нехватку разнообразия в процессе генерации идей и не являются надежными оценщиками.

Статья

Building A Generative AI Platform

Chip Huyen - автор книги по Machine Learning Systems Design, выпустила пост с описанием построения Generative AI Platform.

Читается за несколько часов, очень подробно раскрыты темы с RAG, кэшем, метрками, логированием и много другого.

Рекомендую к прочтению

Кофе для автора ☕️
Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!

Prompt engineering от Anthropic

Вышло интересное видео, где ребята из Anthropic дают практические советы по промпт-инжинирингу и рассуждают об эволюции и будущем промпт-инжиниринга.

Еще у них вышел хороший мануал
В нем очень круто описаны с примерами:
- multishot prompting
- chain of thought prompting
- сhain complex prompts
- long context prompting tips

#llm

Ризонинг подвезли!

Не могу пройти мимо новинки от OpenAI o1. Модель уже по полной бьет все бенчмарки.

По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего. 

Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.

Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов.
Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.

Подробнее про o1 можно почитать тут

Посмотреть как кодит тут

#llm

RAG и Long-Context LLMs

В ранних версиях LLM модели с RAG были надежным решением для создания ответов на основе контекста.

С появлением long-context LLM, которые могут работать с гораздо более длинными текстами, RAG стал менее популярным, так как новые модели часто превосходят его в задачах с большим контекстом.

В новой статье от NVIDIA сообщается, что при слишком длинном контексте LLM теряют фокус на важной информации, что снижает качество ответов. В статье предлагается новый механизм, называемый OP-RAG (Order-Preserve Retrieval-Augmented Generation), который улучшает работу RAG за счёт сохранения порядка полученных фрагментов данных, что помогает достичь более высокого качества ответов.

Эксперименты на публичных бенчмарках (например, En.QA dataset) показали, что OP-RAG может превзойти современные длинноконтекстные модели без использования RAG, демонстрируя лучшую точность и качество ответов.

Ссылка на статью

#llm

Очень сильно рекомендую посмотреть трех часовой мастер класс от Sebastian Raschka по имплементации, обучению и использованию LLM

https://magazine.sebastianraschka.com/p/building-llms-from-the-ground-up.

​​В предыдущем посте писал, что у меня новый карьерный этап.

С недавних пор помогаю ребятам из unimatch

Делаем AI для венчура.

Сделали system дизайн решения, проводим cust dev, уже изучили конкурентов, есть бэклог. В общем проделали много продуктовой работы.

Кстати у фаундера есть клевый телеграм канал Там он более детально рассказывает о проекте и делиться другими бизнес практиками