eupolicy.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
This Mastodon server is a friendly and respectful discussion space for people working in areas related to EU policy. When you request to create an account, please tell us something about you.

Server stats:

218
active users

#gpt4all

0 posts0 participants0 posts today

#UnplugTrump - Tipp24:
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

#AI#GPT4All#Ollama

Ich habe das Thema »KI-Tools« in der Empfehlungsecke hinzugefügt. Die dort vorgestellten Lösungen sind alle datenschutzfreundlich, da sie offline genutzt werden können und mit lokalen Sprachmodellen arbeiten. 👇

kuketz-blog.de/empfehlungsecke

www.kuketz-blog.deEmpfehlungseckeDie Empfehlungsecke beinhaltet aktuelle Empfehlungen zu Messengern, Browser-Add-ons und weiteren Themen • IT-Sicherheit & Datenschutz aus Karlsruhe

I played around with local #LLM​s like #Llama 3.1 via #GPT4all UI. GPT4all is fine but limits my self to one host only.

Can somebody suggest me a similar local web-based UI so that I may use my local LLMs as well as my main machine on other hosts in the same LAN via browser as well?

I don't need fancy bells and whistles, I prefer a rather simple concept with some selection of LLMs to download and simple chat windows for my prompts and answers.

Meta #llama 3.1 8B on my intel Core i5-13500 (no dedicated graphics card) via #GPT4all is running on CPU only mode approximately one word per 3-4 seconds, consuming all of the 6+8 physical cores.

Most of my rare questions for the #LLM can be sent, generated in background and I read the response later-on.

For occasional use an appropriate price I'm willing to pay for not uploading my tasks to a cloud service.