Stability AI, создатели Stable Diffusion,
опубликовали исходный код двух языковых моделей StableLM. В альфа-версии доступны языковые модели с 3 и 7 миллиардами параметров. Генерить может текст и код.
Построено на датасете The Pile, но в три раза большем, с 1,5 триллионами токенов. Также выпустили набор затюненных исследовательских моделей, которые будут использовать комбинацию пяти наборов данных с открытым исходным кодом: Alpaca, GPT4All, Dolly, ShareGPT и HH. Модели предназначены только для исследовательских целей и выпускаются под некоммерческой лицензией CC BY-NC-SA 4.0, соответствующей лицензии Stanford Alpaca.
Не ту компанию назвали OpenAI
🤭#StableDiffusion #нейронки