@nd_yarr: Кто-то сделал репо на гитхаб, который позволяет запускать локально LLM даже на очень слабом железе. Проект называется AirLLM и его суть в том, чтобы не грузить все слои сразу в видеокарту, а поочередно загружать их с жесткого диска 💿 Авторы даже запустили так Kimi K3 на менее чем 4гб видеопамяти! Да, скорость в случае выбора ОЧЕНЬ больших моделей оставляет желать лучшего, но что если тебе необходима приватность данных? Тогда пробуй MoE модели, которые также могут обеспечить нормальную скорость через этот репо. Они не слишком требовательны к памяти, которая нужна им по большей части только для активных слоев. А вообще я даже сделал гайд получить который можно досмотрев видео до конца. Там я раскладываю как установить и какие модели ты сможешь запустить локально на своей машине. Сохраняй чтобы не потерять скрепка 📎 Ищем на гитхабе AirLLM