@kyrylosoliar: AirLLM: Запуск моделей 70B з низьким використанням пам'яті. Вам більше не потрібен суперкомп'ютер щоб запустити модель штучного інтелекту на сімдесят мільярдів параметрів. Тепер це стало можливим завдяки бібліотеці з відкритим кодом під назвою AirLLM. Принцип роботи простий: замість того щоб завантажувати всю модель у памʼять одразу, вона вантажить її шар за шаром прямо з жорсткого диска. Це як читати книгу сторінка за сторінкою замість того щоб вивчити весь текст напам'ять перед початком. Також є функція Flash Attention, яка тримає використання пам'яті майже незмінним навіть при довгих запитах. В результаті такі моделі як Llama 3.3 70B запускаються прямо на вашому MacBook або ігровому комп'ютері. Повністю локально і приватно, без витрат на API. Для студентів, дослідників і незалежних розробників цей інструмент однозначно вартий, щоб спробувати. А ви вже пробували запускати моделі локально чи використовуєте тільки API? Діліться досвідом. І приєднуйтесь, тому що таких інструментів стає все більше.

Кирило Соляр
Кирило Соляр
Open In TikTok:
Region: UA
Tuesday 12 May 2026 15:03:51 GMT
30785
1163
29
253

Music

Download

Comments

dds_games
DDS :
Ага. Роби 2 токени на хвилину 😁😁😁😁
2026-05-13 09:30:48
43
ivan_pshchnk
ivanpashchenkoua :
А навіщо взагалі щось запускати локально якщо можна зайти на сайт відповідної АІ і там з нею спілкуватися
2026-05-13 13:08:56
3
nazarmyza
Назар :
ну бред же. ви про файл підкачки ОС чули, це те саме. навіщо видумувати велосипед, ставте файл підкачки 300 ГБ і все запуститься, от тільки працювати буде пару токенів в секунду. RAM було придумано, не для того щоб працювати з диску. не вистачає - купи, нема за що купити - воно тобі не треба.
2026-05-19 14:18:31
5
olegivanus
Oleg Ivanus :
запускав на 3050
2026-06-07 13:18:04
0
insidebesidemusic
insidebesidemusic :
Це те саме що віслюка запрягати за авто, він то поїде але простіше пішки, на 3060 12gb - 0.5 токена/сек це біль і мазахізм😅
2026-05-14 15:02:34
4
vitalii5050
[object Object] :
звучить як щось що швидше буде на листочку вирішити ніж дочекатись відповіді
2026-05-13 13:16:36
8
tirasus
Tirasus :
в мене локально на ВМ з відео адаптером Tesla p4 стоїть qwen 2.5 coder 14b який через агента робить прості завдання , а тяжкі завдання летять на моделі по більше. Боюсь якщо я буду квантувати модель типу 32b то буду чекати по 5хвилин на запит у пару токенів 😁
2026-07-06 10:26:00
0
brzhifi
ruslanmulyk :
Всі параметри перевіряються для генерації наступного токену😃 Яка сторінка за сторінкою 😂🤣😅
2026-05-28 08:38:48
1
the.dodik
D0DIK :
Як запустити на холодольнику?
2026-05-19 04:55:49
1
_.y_u_l._
YuliyА :
Редіт пише не запускається, забагований код
2026-05-12 16:47:07
4
deuterium_ua1
Deuterium :
Вічність
2026-05-12 21:43:58
1
solsay4
solsay :
на кого це таргетовано😂😂
2026-05-22 20:54:30
1
kosmoc8841
madeonearthbyhumans :
70b це так собі неочом
2026-05-13 09:22:20
0
asolo_mio
asolo_mio :
Так с жесткого диска оно будет работать очень долго.
2026-05-12 18:03:48
3
ok5uc
ok5uc :
Ну так это не ново и медленно
2026-05-13 01:58:01
1
sepaev
Жентос :
ковыряю мозг и пытаюсь настроить comfyUI. тут точно ничего простого😂
2026-05-13 18:08:30
1
shot5hot
S5H :
использую локалку 17 токенов на 1060 6 и 32 озу квен 3.6 35б мое гуглите кому интересно
2026-05-26 23:47:24
0
mister_tich
Mr.Tich :
вога поки один промт обрахує мені 120 стукне
2026-05-12 23:45:16
2
misch_lan
Misch_lan :
так запускав, ноут згорів
2026-06-28 19:57:54
1
im.shy455
I’m shy :
🤖
2026-05-21 13:00:55
1
quantum_stranger
Quantum Stranger :
@Toni Blik
2026-05-13 10:34:06
1
olegivanus
Oleg Ivanus :
а які мінуси в такого підходу?
2026-06-07 13:18:37
0
To see more videos from user @kyrylosoliar, please go to the Tikwm homepage.

Other Videos


About