Читал тут книгу LLMs in Production, в одной из глав описывались плюсы и минусы разных способов получения контейнером весов большой модели. В компьютерном зрении модельки тоже бывают немаленькие, а ещё моделей в одном сервисе может быть много, поэтому тема…