@kyrylosoliar: AirLLM: Запуск моделей 70B з низьким використанням пам'яті. Вам більше не потрібен суперкомп'ютер щоб запустити модель штучного інтелекту на сімдесят мільярдів параметрів. Тепер це стало можливим завдяки бібліотеці з відкритим кодом під назвою AirLLM. Принцип роботи простий: замість того щоб завантажувати всю модель у памʼять одразу, вона вантажить її шар за шаром прямо з жорсткого диска. Це як читати книгу сторінка за сторінкою замість того щоб вивчити весь текст напам'ять перед початком. Також є функція Flash Attention, яка тримає використання пам'яті майже незмінним навіть при довгих запитах. В результаті такі моделі як Llama 3.3 70B запускаються прямо на вашому MacBook або ігровому комп'ютері. Повністю локально і приватно, без витрат на API. Для студентів, дослідників і незалежних розробників цей інструмент однозначно вартий, щоб спробувати. А ви вже пробували запускати моделі локально чи використовуєте тільки API? Діліться досвідом. І приєднуйтесь, тому що таких інструментів стає все більше.
А навіщо взагалі щось запускати локально якщо можна зайти на сайт відповідної АІ і там з нею спілкуватися
2026-05-13 13:08:56
3
Назар :
ну бред же.
ви про файл підкачки ОС чули, це те саме. навіщо видумувати велосипед, ставте файл підкачки 300 ГБ і все запуститься, от тільки працювати буде пару токенів в секунду.
RAM було придумано, не для того щоб працювати з диску.
не вистачає - купи, нема за що купити - воно тобі не треба.
2026-05-19 14:18:31
5
Oleg Ivanus :
запускав на 3050
2026-06-07 13:18:04
0
insidebesidemusic :
Це те саме що віслюка запрягати за авто, він то поїде але простіше пішки, на 3060 12gb - 0.5 токена/сек це біль і мазахізм😅
2026-05-14 15:02:34
4
[object Object] :
звучить як щось що швидше буде на листочку вирішити ніж дочекатись відповіді
2026-05-13 13:16:36
8
Tirasus :
в мене локально на ВМ з відео адаптером Tesla p4 стоїть qwen 2.5 coder 14b який через агента робить прості завдання , а тяжкі завдання летять на моделі по більше. Боюсь якщо я буду квантувати модель типу 32b то буду чекати по 5хвилин на запит у пару токенів 😁
2026-07-06 10:26:00
0
ruslanmulyk :
Всі параметри перевіряються для генерації наступного токену😃 Яка сторінка за сторінкою 😂🤣😅
2026-05-28 08:38:48
1
D0DIK :
Як запустити на холодольнику?
2026-05-19 04:55:49
1
YuliyА :
Редіт пише не запускається, забагований код
2026-05-12 16:47:07
4
Deuterium :
Вічність
2026-05-12 21:43:58
1
solsay :
на кого це таргетовано😂😂
2026-05-22 20:54:30
1
madeonearthbyhumans :
70b це так собі неочом
2026-05-13 09:22:20
0
asolo_mio :
Так с жесткого диска оно будет работать очень долго.
2026-05-12 18:03:48
3
ok5uc :
Ну так это не ново и медленно
2026-05-13 01:58:01
1
Жентос :
ковыряю мозг и пытаюсь настроить comfyUI. тут точно ничего простого😂
2026-05-13 18:08:30
1
S5H :
использую локалку 17 токенов на 1060 6 и 32 озу квен 3.6 35б мое гуглите кому интересно
2026-05-26 23:47:24
0
Mr.Tich :
вога поки один промт обрахує мені 120 стукне
2026-05-12 23:45:16
2
Misch_lan :
так запускав, ноут згорів
2026-06-28 19:57:54
1
I’m shy :
🤖
2026-05-21 13:00:55
1
Quantum Stranger :
@Toni Blik
2026-05-13 10:34:06
1
Oleg Ivanus :
а які мінуси в такого підходу?
2026-06-07 13:18:37
0
To see more videos from user @kyrylosoliar, please go to the Tikwm
homepage.