eupolicy.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
This Mastodon server is a friendly and respectful discussion space for people working in areas related to EU policy. When you request to create an account, please tell us something about you.

Server stats:

223
active users

#huggingchat

0 posts0 participants0 posts today
Jeff Toon<p><b>Hat hier jemand Erfahrung mit dem Betrieb eigener KI-Systeme?</b> Nachdem der Chat von HuggingFace seine Tore sehr unerwartet und spontan geschlossen hat, bin ich auf der Suche nach freien Alternativen.<br>Eine Option könnte sein, so einen Chat mit den passenden LLMs selbst zu betreiben. Dafür wird dann aber eine vernünftige GPU nötig. GPU-Hosting scheint im Vergleich mit den gängigen V-Servern recht teuer zu sein. Zumindest für mich, ist das nichts, was ich ohne Finanzkonzept mal kurz buche ... Die günstigsten Preise lagen bei etwa um die 200 - 300 € pro Monat. Da scheint mir die Anschaffung eines lokalen Servers mit einer passenden Grafikkarte von Nvidia die mittelfristig günstigere Lösung.<br>Stimmt das? Übersehe ich dabei etwas?</p><p>Wie viele User können eigentlich auf so einem "simplen" Computer mit einer etwas besseren Grafikkarte parallel Anfragen stellen?</p><p>Hat hier einer / eine von euch Erfahrung und Tipps?</p><p><a href="https://friendica.opensocial.space/search?tag=HuggingFace" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>HuggingFace</span></a> <a href="https://friendica.opensocial.space/search?tag=huggingchat" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>huggingchat</span></a> <a href="https://friendica.opensocial.space/search?tag=Ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Ai</span></a> <a href="https://friendica.opensocial.space/search?tag=Ki" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Ki</span></a> <span class="h-card"><a href="https://linux.community/c/linux" class="u-url mention" rel="nofollow noopener" target="_blank">@<span>linux</span></a></span> <span class="h-card"><a href="https://feddit.org/c/linux" class="u-url mention" rel="nofollow noopener" target="_blank">@<span>linux</span></a></span> <a href="https://friendica.opensocial.space/search?tag=selfhost" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>selfhost</span></a> <a href="https://friendica.opensocial.space/search?tag=linux" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>linux</span></a> <a href="https://friendica.opensocial.space/search?tag=chat" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>chat</span></a> <a href="https://friendica.opensocial.space/search?tag=bot" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>bot</span></a> <a href="https://friendica.opensocial.space/search?tag=llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>llm</span></a> <span class="h-card"><a href="https://a.gup.pe/u/askfedi_de" class="u-url mention" rel="nofollow noopener" target="_blank">@<span>askfedi_de</span></a></span> <a href="https://friendica.opensocial.space/search?tag=server" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>server</span></a></p>