Gibt es hier jemanden, der so etwas abgesehen von einer chatbox, zum laufen gebracht hat?
2026-06-18 04:39:45
0
Taunus86 :
Was mach ich mit der Box, wenn sie auf meinem Schreibtisch steht?
2026-06-19 20:29:49
0
Pixelturm.at :
Naja .. die Werbeaussage ist/war .. 200B+ Modelle .. dies wäre allerdings (rein rechnerisch) nur mit einer 2- oder 3-Bit Quantisierung möglich .. von den 128GB bleiben auch um die 32GB für das System reserviert, bleiben 96GB .. bei 4-Bit wären es bei 235mrd Parameter um die 128gb rein für das Laden in die GPU-Einheit .. also realistisch gesehen .. eher Richting 70B, damit das Kontextfenster groß und die Ausgabe flott genug ist 🤔
2026-06-17 12:16:28
2
s.ebbo :
Die Modelle sind Müll
2026-06-17 12:44:04
0
kommtnichtnochmalvor :
Mit 128GB Modellen ziehst aber trotzdem immernoch kein Käse vom Brot im vergleich zu ChatGPT, Claude usw. Dieser vermeintliche lokale LLM Hype ist Augenwischerei, zumindest zum aktuellen Stand und auch in der nahen Zukunft.
2026-06-18 01:31:16
3
OK :
Gibt es auch von NVIDIA selber. 80er Modelle laufen sehr gut grössere theoretisch auch, aber langsam.
2026-06-18 05:00:44
4
sirwoodrich :
Wäre schon interessant. Aber erst so richtig, wenn sich das Modell durch kostenlose Updates ständig weiterentwickeln würde
2026-06-17 07:55:44
1
Fastly :
Und das Thema Datenschutz ist auch nicht mehr ganz so happig. Und die lokalen llms werden auch immer krasser
2026-06-19 19:22:33
1
Alex :
stimmt nicht.
Das entscheidende ist der Faktor ZEIT.
die "Kiste" ist 100x langsamer.
2026-06-19 12:28:47
1
Aux8690 :
Ich wusste es! Die sehen sich so ähnlich, könnten die selbe Person sein 😂
2026-06-19 06:49:53
0
drchilldog :
Also ein einzelner NVIDIA Chip (B200?) wie er sonst zu 100tausenden in den AI Cloud Rechenzentren verwendet wird. Sweet
2026-06-18 23:29:47
0
cuda :
ich habe aber oft 5-10 Agenten gleichzeitig laufen, mit so einer kleinen Mühle kann man doch nicht arbeiten. 😅
2026-06-18 05:46:51
1
Shilajit.Kaufen :
Wann kommts nach DE ? 2032 ?
2026-06-17 11:35:42
1
Fuchs Bau361 :
Is Cousine die Lisa Su
2026-06-19 21:56:27
0
danzzz :
stimme zu, denke aber die tokens oder cloud wird dann wohl massiv günstiger werden (müssen). nur weil du einmal 3k für passende hardware ausgegeben hast, bedeutet das ja nicht das du da als firma keine laufenden kosten mehr für haben wirst.
2026-06-17 12:29:07
0
Talentbefreit :
Das verkaufen wir seit Monaten von lenovo. PGX nennen sich die Dinger. Kosten 4-6k
2026-06-19 04:15:10
1
Michael :
Schön wäre es aber leider zu langsam. Wenn die Entwickler vor sich hin idlen ist das nicht billiger
2026-06-18 05:09:24
1
Isaac Zuckerspitz :
ryzen AI max ist viel zu langsam das man den ernstnehmen kann in Deutschland zahlst ca5000€ da nimmst 3 R9700 gpu eine davon ist 4x schneller als ein ryzen AI max
2026-06-17 14:28:45
1
Abstract :
Das ist Quatsch. Wird man erst in 3-5 Jahren so sein dass man theoretisch darauf verzichten kann. Aktuell auch mit den AMD PCs kannst du ein Mittelklasse-Lokales-Modell laufen lassen das 5x langsamer ist als Opus 4.8
Für die open source frontier Modelle Brauchst du mehr als so ne kleine Box...
2026-06-21 13:38:11
0
ooo-ooo-ooo :
Das ist wie Adidas und Puma
2026-06-18 20:16:52
0
Markus Schmid :
Was war das für ein Modell das auf dem Gerät gelaufen ist und ist das Modell öffentlich verfügbar?
2026-06-18 15:23:29
0
Truth_Spirit :
Teuer teuer teuer
2026-06-18 13:32:01
0
kai8000 :
Solange der Arbeitsspeicher nicht günstiger wird, wird sich das nicht durchsetzen 😅
2026-06-18 11:44:46
0
DadOfThree :
AMD Ryzen AI Halo Entwicklerkit🤔 4000$ vorbestellbar 🤔 wow
2026-06-18 06:28:44
0
Cyrillo :
Guter Punkt 👍
2026-06-17 20:09:26
0
To see more videos from user @jousefmurad, please go to the Tikwm
homepage.