@mariia_youraisecurity: Unsloth - это библиотека для тонкой настройки и развёртывания моделей. С помощью Unsloth Studio вы можете легко скачать модель и запустить её локально. В этом видео я покажу вам, как запустить локальную модель. #ai #llm #opensource #python #unsloth

Mariia_YourAI&Security
Mariia_YourAI&Security
Open In TikTok:
Region: KR
Wednesday 05 August 2026 09:53:02 GMT
18115
1001
38
111

Music

Download

Comments

skinani
skinani :
а вот чтобы получить 1млн контекста нужно еще около 16гб vram
2026-08-05 15:00:30
16
dafaqc
dafuq :
чем отличается от лама?
2026-08-05 10:23:56
4
doriankodi
Dorian :
нет ничего лучше чем гемма 4, всё остальное полный шлак
2026-08-05 17:09:41
2
po2dy
Po2dy :
Во первых контекстное окно будет супер маленьким. Во вторых все же это не изначально построенная 1.58 битовая модель, а просто 16 битная модель которую очень жёстко квантовали. По сути ничего интересного, пока реальную 1.58 бит модель не выпустят
2026-08-05 15:56:27
0
valiko.zvg
Валентин З :
Подскажите что полезного делает модель и ИИ? На пример те что тестировал абсолютно все ловят клина, на простых задачах геометрии и алгебры. При этом простая модел резонансного принципа с квантование 20 даёт возможность человеку с пониманием средней школы делать абсолютно не ограниченные вычисления даже в уме, в рамках солнечной системы ее физики строение . тойст этого достаточно для строительства и изучения всего что придумается в физическом мире. Что вы обрабатываете столь страшным квантование которое спотыкается на уровне Пифагора?
2026-08-05 17:08:52
0
wetoshkin_ilya
Wetoshkin_Ilya :
зачем вообще рекомендовать 1 квант? люди это попробуют, поймут, что это чепуха и навсегда разочаруются в ии. запустить то можно, но вот пользоваться для получения качественных результатов - нельзя. также не понимаю, зачем такие кварты вообще делают? только одно логичное объяснение в том, что тренируются. и может когда-нибудь смогут применить все умения и смогут 2.8 ТБ Kimi k3 запускать на 2шт 3090 по 24 гб.
2026-08-05 11:43:57
6
vladislav_eteila
vladislav_eteila :
огромное спасибо за анслот студио. Я так понимаю она намного легче оламы. Рад знакомству, где ещё вас можно найти? на каких ресурсах? ностр, бастион?
2026-08-05 16:23:15
0
anton269337637
Antony :
А может это вирус на 3гб? Поэтому и сохраняет
2026-08-05 17:01:42
0
maksidze
maksidze :
Так однобитные модели тупые, если 4-битная ещё хоть как то может осмысленно отвечать, то однобитные вообще иной раз бессвязно отвечают, не говоря уже об ответах на русском языке
2026-08-05 11:37:07
1
trierrrr7
Trierrrr :
Выходите за меня замуж 😌
2026-08-05 17:25:56
0
velobas
velobas :
У меня LM Studio уже скачал, правда еще не пробовал...
2026-08-05 16:29:38
0
alexander.liebert
Александр Либерт :
Почему не lm studio? 💁🏻‍♂️удобнее же, вообще сам ищу хорошую локальную модель для разработки своего агента, gemma запускается, но агентские навыки у неё острой
2026-08-05 15:39:34
0
trinity3411
Dean :
Благодарю вас за все ваши видео! будьте любезны, расскажите о всех возможных локальных моделях доступных для скачивания, для малых техресурсов.
2026-08-05 10:18:41
1
saika.slayer
saika.slayer :
Я офигел когда на своем маке мини 27b параметров запустил, 20-30 токенов в секунду, чекнул в службах и офигел ещё раз 6гб ОЗУ, потом подумал и пошел запустил ее же на телефоне, ребят это что-то
2026-08-05 16:50:02
0
lezka212
Вопис :
кста забавный факт недавно узнал kimi k3 использует 103b параметров на один токен
2026-08-05 16:23:08
0
falseleft
falseleft :
для простых задачь и 4b с q8 отлично подходит.
2026-08-05 16:01:31
0
_359325
(-_*) :
😁 не доступен из внешней сети "так как я заблокировала брандмауэром " А так за старания и интерес умничка👌
2026-08-05 15:28:11
0
sergei.lsvagent
Sergei Lsvagent :
Интересно, а это модель может работать в движке годот4 ?
2026-08-05 10:11:53
0
pidaraz69
Пенивайз :
а на русском она нормально говорит?
2026-08-05 12:52:21
0
feddoss
FedDos :
А ты тестила??
2026-08-05 11:30:31
0
dywied448sna
gtpt1234 :
ура, наконец-то моя gtx 1650 ti mobile сможет хоть что-то запустить нормальное (хотя и очень медленно вероятно)
2026-08-05 17:30:12
0
rhgstbb
…. :
и в чем смысл если есть llama.cpp
2026-08-05 14:38:48
0
5mail.dimon
Дмитрий Смилко :
круто,нужно попробовать
2026-08-05 14:30:40
0
user5148483861184
Саша :
попробую на оллама запустить
2026-08-05 13:33:13
0
xd.ladno
E❖S :
Для таких задач можно юзать agents a1 на 4b если задачи простые и 35b a3b если задачи сложные, думаю будет получше чем бонсай
2026-08-05 11:08:07
0
To see more videos from user @mariia_youraisecurity, please go to the Tikwm homepage.

Other Videos


About