Taras S :
для 20b нужна хотя бы 4*NVIDIA H100_80, работать она будет через cli, RAG это библиотека для моделей, через llm будет работать хреновато, так как по названию модели видно, что это кастомная модель и ее нужно доучивать, а для обучения нужно понимать, какой датасет тебе нужно. Чтобы нормально работала после обучения, нужно квантизация (Q_4 минимум), я ещё не смотрел, но думаю 20B будет весить ~ 100-140 Гб, после квантизация ~35Гб. Эта модель не для этого, это локалка для ии-платформ, для дообучения и работы в облаке. А вообще, спасибо, у OpenAI локалок не было, а они должны быть хороши в написании документов и т.п., потому, что ChatGPT очень слабый в коде, математике, а вот в документации и анализе норм. Я его использовал через API для ароматов и т.п.
2025-08-12 11:51:23