@ii_za_minutu: AirLLM: модель 70B на видеокарте с 4 ГБ Модель на семьдесят миллиардов параметров на видеокарте с четырьмя гигабайтами. AirLLM грузит модель по слоям, поэтому модели на 70 млрд параметров работают на одной карте с 4 ГБ без квантизации. Нюанс: нужно много места на диске. Попробовать: https://github.com/lyogavin/airllm Источник: GitHub Trending https://github.com/lyogavin/airllm #нейросети #llm #локальныйии #опенсорс
Да, модель непременно запуститься)) Но только ждать ответа придётся ооооооооооооооооооооооооооооооооооооооооооооооллчень долго)
2026-10-29 21:17:29
199
YRON :
тут все пишут что скорость будет низкая , но если реально то насколько низкая ? сколько будет отвечать на решение средней задачи или написать код на 1000 строк ?
2026-10-29 22:35:29
2
DOZZIcs :
1 слой? это сколько лет нужно ждать, пока он напишет "привет, чем могу помочь?"
2026-10-29 21:34:40
58
эльдорадо :
1 копия колибри
2 скорость 0.000000000000001 t/s
2026-11-01 00:05:55
1
DildoGay :
1 токена в час
2026-10-29 21:22:42
21
$Win :
1 токен в век
2026-10-30 21:07:41
2
Курская народная республика :
а есть какая то модель на такое железо? у меня много nvme дисков. есть сервера hp m360 g9. Cisco m220 M4. по 192гб оперативы. видеокарт хороших нет. могу может раздобыть 3060
2026-10-30 19:30:01
0
⚛6est3rka⚛ :
у меня Qwen 3.8 Flash-Next Gyro-M работает на 12+32, 40-150 токенов в секунду на 3080ti через strata, на 4х гигах она конечно запустится, но не ждите больше 10т/с
2026-10-30 02:13:26
8
маркис • разраб реал лайф :
скоростт 0.00000000000000000000001 т/с
2026-10-30 05:05:26
5
мандарин :
а сколько текенов в секунду
2026-10-30 20:04:58
0
zecter :
1 токен в день
2026-10-30 04:00:23
5
kashlyga :
это сколько сотых токена в минуту?
2026-10-30 18:40:57
4
Подзал Упный :
а потом галюны и hello world на питоне около часа..и то неправильно
2026-10-30 01:59:14
5
isoldmybraintohostingprovider :
да, теоретический предел 1.5т/сек. просто в карту загружается только один слой, потом он выгружается и загружается следующий. это даже медленнее чем использовать ОЗУ для весов.
2026-10-30 08:18:50
1
Voolt :
1 токен по понедельникам
2026-10-30 21:35:49
2
Vladcat2 :
И будет очень глупой
И нагрузка на шину памяти проца и карты будет больше
Так что это костыли что бы поставить яркий заголовок
2026-10-29 22:38:24
2
Басда :
Ооо да дайте мне эти 1 токен в час, диск не такой быстрый как видеопамять
2026-10-30 08:04:55
2
user18120065016 :
свап файл придумали
2026-10-30 04:40:57
1
Путин :
И поитогу 10 ток/с максимум
2026-10-30 08:30:29
2
Дмитрий Синяков :
очень смешно, квен 3.8 на 27B два токена за 30 сек на 4 Гигах гпу.....
2026-10-30 04:35:52
2
Бирюков Александр :
0 слов про тпс. 0
2026-10-30 04:14:37
1
NxT5 :
интересно отдача , а токен м час )
2026-10-30 11:02:09
1
Ваня 2017 стандофф голд 3🥰🥰 :
на 5060 на привет отвечает час
2026-10-30 09:56:03
1
alfa_shadow :
и ответ будет выдаваться пол часа, вместо 10 секунд
2026-10-30 07:40:46
1
To see more videos from user @ii_za_minutu, please go to the Tikwm
homepage.