Понравилась декабрьская статья про модель представленную Meta посвященную Моделям крупных концепций (Large Concept Models, LCMs). Хотя сейчас LLMs доминируют в области ИИ, их фокус на уровне токенов ограничивает возможности логического рассуждения, что тормозит в свою очередь появление продвинутого reasoning. LCMs предлагают новый подход, обеспечивая структурное иерархическое моделирование, которое позволяет ИИ рассуждать и организовывать информацию так, как это делают люди. LLMs обрабатывают текст на уровне токенов, используя эмбеддинги слов для моделирования связей между отдельными словами или их частями. Этот детализированный подход отлично подходит для задач вроде ответов на вопросы или генерации подробного текста, но испытывает трудности с поддержанием связности в больших объемах текста или синтезом абстрактных идей высокого уровня. LCMs решают эту проблему, работая на основе эмбеддингов предложений, которые представляют целые идеи или концепции в высокоразмерном семантическом пространстве, независимом от языка, называемом SONAR. Это позволяет LCMs рассуждать иерархически, организовывая и интегрируя информацию концептуально, а не последовательно. Если представить мозг ИИ как совокупность функциональных компонентов, то LLMs можно сравнить с сенсорной корой, которая обрабатывает мелкие детали и выявляет локальные закономерности. LCMs, напротив, функционируют как префронтальная кора, ответственная за организацию, рассуждение и планирование. Префронтальная кора не просто обрабатывает информацию, но и интегрирует её, расставляя приоритеты для решения сложных задач. Отсутствие этой «префронтальной» функциональности долгое время было серьёзным ограничением для систем ИИ. Добавление этого недостающего элемента позволяет системам рассуждать и действовать с большей глубиной и целеустремлённостью. На мой взгляд, комбинация LLMs и LCMs может быть невероятно мощной. Этот подход напоминает мульти-масштабное моделирование, метод, используемый в математике для решения задач одновременно на уровне общей картины и деталей. Например LCMs могут анализировать большие массивы медицинских данных, включая медицинские карты, результаты лабораторных исследований и научные публикации, чтобы выявлять общие паттерны и составлять структурированный план лечения а LLMs могут детализировать рекомендации для врачей и пациентов, например, разрабатывать инструкции по применению лекарств или разъяснять сложные медицинские термины. Аналогично, LCMs работают с «общей картиной», организуя концепции и структурируя задачи, а LLMs сосредотачиваются на деталях, таких как генерация точного текста. @mosunovc