@chopocompik_off: Компьютер для ИИ ч2

Under_Player :

так купи флешку на 128гб, она ещё с запасом будет

Galaxy R :

вообще то в ноутбуках давно есть обходная зарядка

Flary126 :

как же он тянет эти 3 минуты

BossyCat :

Так линукс объедктивно лучше

тристрановый очкодробитель :

конечно два зеона

inplov :

... :

тоже щас решил собрать свой сервак для ии(заебался отдавать бабки за Клауд), бюджет маловат пришел к такому варику: двухпроцессорная мать с Xeon e5 2690v4 + Tesla p40 24gb + 128gb ddr4 выходит около 55к, с учётом что модель буду по слоям раскидывать на процы плюс видюху,думаю норм будет

iugrts :

просто закупить Nvidia Tesla V100 на 16 гигов, они сейчас стоят копейки

DiSa :

У серверной сборки с 4-канальной DDR4 пропускная способность будет в лучшем случае 60-70 ГБ/с. Для сравнения: у RTX 3090 это примерно 936 ГБ/с. У топовых Mac с их объединенной памятью - от 400 до 800 ГБ/с. Загрузить модель, ты загрузишь, но скорость будет примерно до 5 токенов в секунду. ЕСЛИ идти по пути видеокарт, то самый интересный бич вариант, это Tesla P40, с ее 24Гб врам. Но они не умеют в FP16, соответственно, скорость будет ниже. Но раз ты рассматриваешь зеон, то мне кажется, не большая и проблема. Вообще, самый идеальный вариант, но не знаю по ценам в России, это MacMini с 32Гб ОЗУ. На том же M1/M1Pro/M1Max. если они есть за 30 тысяч, это самый лучший вариант, ибо КОНЦЕПТУАЛЬНО, это та же HBM2 память. А если не концептуально... то по сути, памяти разная, но идея у них схожа.

да :

так возьми на авито флешку на 16 тб за 200 рублей

Sterben :

"я сошел с ума" наговорил на 30 нарезок

арбузный ебака :

прикольно, но может работу найдёшь?

HAZLE :

Квантование для кого придумали тип модель с 80 млрд параметров без квантование весит 80 гигов, а с квантованием и то и меньше может гигов 50 ну это примерно

матвейпро666 :

Обходная зарядка по приколу существует для тебя?

Еблан🇧🇫 :

Можно использовать квантованную (сжатую) модель. это позволит немного сэкономить на железе. например, qwen 3.6 35B A3B (на ровно 30 миллиардов нет) в сжатии Q8_0 весит примерно 37 гигов, а в IQ4_NL около 18 гигов. качество присядет, но не прям чтобы ужас. Я для своих целей использую квантованные модели и в целом по качеству они меня устраивают.

Horusk :

помогаю начинающим теч токерам)

ronix :

купляти?

вашпровайдер :

Tesla P40 24GB на бу рынке можно выкупить до 23 тысяч рублей сильный процессор тебе не нужен но БП взять лучше с небольшим запасом или хотя бы нормального брэнда.

xyesos :

нвидиа а40 49гб(залайкате пж)

XXX.com :

просто бери с максимальной пропускной способностью, так как сложных вычислений там нету, там объём сам данных велик. поэтому серверное железо не мощное( для игр и т.п.) а многопоточное.

xxkrsf :

Ой девочкиии, я вам сейчас такое расскажу, я сама второй день хожу и смеюсь как ненормальная 🤣🤣🤣 Сижу значит утром, чай пью, новости читаю в телефоне, и тут мне внучка скидывает это своё… как его… мем. И написано там: «ты солнечная?» ☀️☀️☀️Я сначала вообще не поняла, думаю это про погоду что ли, или давление опять скачет 😂😂😂 А потом КАААК ДОШЛО ДО МЕНЯ… ой мама дорогая… я чуть компот не выплюнула 🤣🙏 И теперь всё. Всё!!! Я не могу нормально разговаривать. Муж спрашивает где его носки — а я ему: «ты солнечный что ли?» 🤣🤣🤣 В магазине женщина тележкой мне по пяткам — я стою и шепчу: «вообще солнечная…» 😂😂😂🔥 Уже соседка на меня косо смотрит, а мне смешно НЕ МОГУУУУУ. Самое страшное, что это вообще без причины смешно. Вот просто слово. СОЛНЕЧНАЯ ☀️И всё, меня разрывает как пакет с кефиром 🤣🤣🤣🤣🤣 Сижу ночью, вспоминаю это «ты солнечная?» и начинаю хрюкать в подушку, чтобы деда не разбудить. А он просыпается и говорит: «ты чего?» А Я ЕМУ: «ничего, ты солнечный просто» 🤣🤣🤣🤣🤣🤣 Господи прости молодёжь конечно сейчас странная, но это их «солнечная» — это прям золото. Это уже не слово, это стиль жизни какой-то 😂🙏❤️Теперь если человек чудит, если глупость сказал, если просто стоит странно — всё. Всё понятно. Солнечный. Солнечная. Диагноз поставлен 🤣🔥 Я вчера вообще случайно продавщице сказала вместо «спасибо» — «солнечная»… Она на меня так посмотрела, как будто мне пора давление мерить 😭😂😂😂 Короче ужас. Интернет опять испортил мне психику. Но смешно. Очень смешно. ХАХАХАХАХАХАХ ☀️🤣🙏🔥🔥✌️

InsaneRamZes :

: Можно купить 2-3 Nvidia Tesla V100 по 10-16гб GDDR6, они стоят около 10-15К ₽ за штуку, и у них вычислительная мощность очень близка к RTX 4080 в ИИ задачах за счёт специальной архитектуры. Да конечно тут погрешность до ~10К ₽ но можно найти дешёво и получается 16 × 3 = 48гб но нужно ещё и около 32-64гб ОЗУ желательно DDR4/DDR5 то сервер не такой уж и выгодный но в долгосрочной перспективе очень выгоден, ну либо сдавать вычислительные мощности в аренду.