byrarawjkee :
Объясняю как специалист и человек, который хоть немного разбирается в этом. Такие модели и вправду есть, это называется derestricted модели, их делают обычные энтузиасты, которые переобучают модели с открытыми весами. Теперь в чем он неправ, во-первых, на 16 гигабайт оперативной памяти вы можете запустить модели только на 2-8 миллиардов параметров, с одним но, полный размер модели составляет десятки и сотни гигабайт, и их никак не вместить в 16 гигабайт оперативки, для этого придумали квантенизацию (отупление модели за счет уменьшения размера), это очень грубо, но понятно. Ну и, собственно, сами модели даже на 8 миллиардов параметров очень тупые. А теперь к этой тупости добавьте квантенизацию и получаете голюинирующую модель, способную сказать мат и направить в химическом составе какую-нибудь плохую штуку. Не говоря уже о том, что если запускать модель не на видюхе, а на процессоре, то ждите 1-3 токена в секунду, это 3-10 символов в секунду. Задавайте вопросы
2026-05-25 23:03:26