Про сегодняшний AI момент: паникеры раскручивают пропаганду и это выливается в рост регуляций, а по факту хайп сдувается, может уже вступаем в AI-winter.. Пропаганда - Тиктокера (см его фото) выгоняют из OpenAI и он (на спор, что ли?) пишет дикие агитки =) Прямо Геббельс: Цель использования метода большой лжи в пропаганде заключается в том, чтобы подорвать способность людей к критическому мышлению и склонить их к принятию ложных убеждений, что в итоге укрепляет наш контроль и влияние - А Ник Бостром за 10 лет наоборот - разворот 180 градусов от страха AGI к utopia и abundance - Схватки между EA (effective altruism) и e/acc (effective accelerationism) нас еще удивят )) Тк EA brainwashing разгоняется.. Технологии - LLM, как Yann LeCun говорит, уже все что можно из текстовых знаний человечества вынули, метрики не растут и разница между разными компаниями ничтожна - Карпаты на днях запилил GPT2 (124 млн параметров) на опенсорсных 15Тб данных и LLM стала (!) уровня GPT3 - потратил $20 на compute. Данные там - в среднем строки на 2 тыс символов - В 2019 gpt2 стоила $50к - т.е. дешевле в 2500 раз. Что тренировка сеток станет commodity - Цукерберг говорил.. - Атомные технологии стоили $25 млрд в 1945-ом, сейчас все равно миллиарды $ - то есть всего в 5x дешевле за, кгхм, 80 лет - Следим/читаем Yann LeCun, куда там могут копать в какие-то будущие прорывы.. В целом, reinforcement learning что-то должен дать судя по AlphaGo итп - Мечты Альтмана, что миру нужны триллионы $ в compute и АЭС (верит в emergence феномены, как завещал Sutskever?) - сложно. В мире 25 тераватт/год электричества потребляют, рост 2x за 20 лет - в мире atoms not bits - сложно.. Бизнес - Gartner еще летом на своей кривой AI хайпа помещали genAI на пик, этим летом понизят с пика ) - Google и FB могут спать спокойно - у нейронок нет такого конкурентного барьера как network effects, это действительно больше low level engineering innovation типа компов и смартфонов, как отмечал Цукерберг. А рэнкинги Гугла постоянно обновляются на real-time потоке куда и по каким запросам люди кликают - тут сетевой эффект супер силен - Китай вложит $60 млрд в производство чипов в Китае. Возможно, отчасти связано с тем, что на случай захвата Тайваня в оборудование ASML (свертинтенсивный ультрафиолет для рисования микросхем) заложена возможность удаленного вывода из строя - Дальше, скорее, вопросы освоения людьми на своих рабочих местах.. - Apple вроде выкатят LLM прямо на айфоне, без загрузки в облака. Когда шортить акции Nvidia - без понятия ) Лидеры - Альтман уже постоянно не этичен (от Sutskever и отбирания опционов у увольняющихся сотрудников OpenAI и до воровства голоса Скарлет Йохансон пару недель назад) - долг копится и я думаю он скоро огребет от реальности.. - Интересно, что будет пилить Sutskever? ) Регуляторы - Лоббисты, похоже, соберут максимально денег с бигтехов (тот обсуждаемый сейчас в Калифорнии заход на ограничение больших моделей как ядерное оружие) за НЕ запрет в итоге )) - Цукерберг топчик с Llama - open source в масштабах планеты делают технологию распределенной, крч это мягко говоря это не атомные технологии - С учетом, что выше про Карпаты - ну ОК: запретят - будут тренить нелегально ) Психология - Вместо AGI нас ждет какая-то новая виральная и раскручиваемая страшилка конца света - западу всегда нужно дыхание апокалипсиса )) Что станет следующим? - В Китае 87% населения оптимистичны про AI, на Западе 35% - это культурные корни.. А на Востоке колесу Сансары пару тысяч лет - в корейских сериалах вместо западных концов света - всюду идея перерождения: Королева Чхорин, Легенда синего моря, История девятихвостого лиса итд итп - Любые страхи всегда нужно нести в личную психотерапию, а иначе, не понимая почему, так и будем триггериться супер-тревожными людьми типа Jaan Tallinn (знаком с ним, он чет совсем ушел в панику) итп. Да нет, это всего лишь их личные непроработанные тревоги, но с медиа-усилением - мы получаем регуляторные перегибы ((