Про эффективность последних LLM в программировании. Понадобилось мне сменить способ авторизации в Metabase (лучшая система BI отчетности). Вроде бы сделать легко - плати 500$ в месяц за 10 пользовательских лицензий и подключай свою авторизацию. Но ведь это Open Source, денег платить я не хотел, и решил немного переписать Metabase, сменив доступную авторизацию через Google на свою. Вроде задача не сильно сложная, но сам проект очень сложный (хотя написан красиво). Написан на двух языках программирования Clojure и TypeScript(React + Redux). Оба я их знаю плохо :(. Итак я обратился к LLM: 1) Claude Sonnet 3.5 - не справился с TypeScript. Вроде что-то получалось, но не работало. Хотя было вроде удобнее c точки зрения UI. 2) ChatGPT 4o - то же самое 3) ChatGPT o1-preview - очень порадовал. Было несколько моментов, но я смог отдебажить и разобраться в вопросах сам. Сама задача заняла около 8 часов с учетом мучений с предыдущими LLM. Возможно, первые две LLM лучше бы справились, если бы я формулировал задачу лучше. Но o1-preview смогла помочь с почти такими же формулировками.