Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
eupolicy.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
This Mastodon server is a friendly and respectful discussion space for people working in areas related to EU policy. When you request to create an account, please tell us something about you.

Administered by:

Server stats:

224
active users

eupolicy.social: AboutProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.3.6

#openwebui

1 post1 participant0 posts today
Public
Bora M. Alper

Self-hosted #LLM's are so much fun, and I am very impressed how quickly FOSS ecosystem caught up with it.

I just installed #OpenWebUI [0] + #Ollama [1] (bundled) to my midsize VPS tonight in less than 30 mins and was able to run small (≤ 3b) models on *CPU* with good performance.

[0] github.com/open-webui/open-web

[1] ollama.com/

GitHubGitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webui
Replied in thread
Public
Mike Stone

@Gina If I had to choose, I'd probably go with #Ollama (which has been mentioned several times already). It's licensed under the MIT license and the models are about as close to open source as you can get. When I play with LLMs, it's what I use. Locally run and with an API that could be used to integrate with other stuff. I also have #OpenWebUI to make things prettier. Both can run locally, though OpenWebUI can integrate with cloud LLMs too. Of course, tomorrow everything could change.

Public
apfeltalk :verified:

Deepseek Model R1 läuft lokal auf dem Mac Studio M3 Ultra
Das Large Language Modell R1 vom Chinesischen Startup Deepseek lässt sich ohne Probleme lokal auf einem vollausgebauten Mac Studio mit M3 Ultra installieren und betreiben. Aber nicht nur das: Es steht dann auch auf iPhone, iPads und Mac im gleichen Netzwerk zur
apfeltalk.de/magazin/news/deep
#KI #News #AI #GenerativeKI #KI #KnstlicheIntelligenz #Ollama #OpenWebUI

Apfeltalk Magazin · Deepseek Model R1 läuft lokal auf dem Mac Studio M3 UltraLernen Sie die Vorteile der lokalen Nutzung von Ollama auf dem Mac Studio mit M3 Ultra kennen und geniessen Sie schnelle Antworten.
Public
Jcrabapple

I set up #OpenWebUI on one of my more powerful servers, and it is fantastic. I'm running a couple smaller local Llama models, and hooked up my Anthropic and OpenRouter API keys to get access to Claude and a bunch of other models including Mistral, DeepSeek, and others. I also linked up my Kagi search API key to give web search capabilities to the models that don't have a web index. I will probably lower my Kagi Ultimate subscription to Professional since I no longer have a need for their Assistant.

#AI#LLM#LLMs
Public *
Andreas Bulling

Do you have access to a GPU card, or maybe even multiple ones?
Are you interested in running a state-of-the-art #LLM #chatbot locally, i.e. without paying #openai et al. and in a privacy-preserving fashion?

Then #OpenWebUI with the #deepseek model and #Firefox might be an interesting (and, I can attest, very well working) combination.

github.com/open-webui/open-web

docs.openwebui.com/tutorials/i

GitHubGitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webui
Public
Simon Dückert

Bisher war meine Frau noch nicht so überzeugt von LLMs. Aber mit der Anwendung, mit allen Elternbriefen der Schule unserer Tochter im heimischen Intranet chatten zu können, habe ich ihr Interesse geweckt 😎

Für Technikinteressierte: habe #Ollama und #OpenWebUI mit einem für deutsch feingetunten Llama 3.1 auf einem Macbook Air M1 laufen. Elternbriefe werden automatisch aus dem internen Bereich der Schule heruntergeladen und als Ordner mit PDFs als lokaler Informationsspeicher eingebunden (RAG).

Public
Thomas Renkert🦞

Ich durfte gestern beim "Heidelberger Informatiklehrkräftetag" (#HILT) Lehrer:innen der #Informatik zeigen, wie man sein eigenes #LLM GRATIS finetunen kann - in unserem Fall #Llama3 und #Phi3 - mit der #MacgAIver Pipeline.

Das Ziel ist dabei nicht (nur), Geld zu sparen, sondern mit einfachen Mitteln für mehr #KIMuendigkeit zu sorgen, indem Schüler:innen einen kleinen Blick unter die Motorhaube von Sprachmodellen werfen können.

Dabei helfen uns u.a. #ollama, #openwebui, #llamafactory und #llamacpp, aber auch Grundwissen aus den Geisteswissenschaften (bzw. den Fächern Deutsch, Englisch, Geschichte...), um zu einem tiefergehenden Verständnis von #genAI und seinen Umgang mit unserem "kulturellen Archiv" zu gelangen.

Es hat Spaß gemacht!

Für künftige MacgAIver-Ideen kann man dieser Gruppe folgen: @macgaiver

#fediLZ #lernenmitKI #KI #edubw #bildung #Heidelberg #education #ai #aieducation #genAI #Informatikunterricht #Medienkompetenz #InformatikEdu #AILiteracy

@education @edutooters

"MacgAIvern: fächerübergreifendes Praxislernen und partizipative Informatikdidaktik - mit Büroklammern, Streichhölzern und Klebeband zu mehr KI-Mündigkeit." - Screenshot der Präsentation.
Wir möchten ein Experiment machen: wie redet unser Chatbot über Menschen (Individuen, Kulturen, Gesellschaften), über die er nichts weiß und nichts wissen kann, weil wir sie erst neu erfinden? - Screenshot der Präsentation
Um uns einen schmalen Weg durch den Dschungel zu schlagen, benötigen wir jede Hilfe, die wir kriegen können: Technisches Know-How (Informatik) Statistik & Stochastik (Mathematik) Kulturwissenschaftliches Wissen und Hermeneutik (Deutsch, Englisch, Geschichte…) Ethische Urteilsfähigkeit (Ethik/Religion) ⇒ MacgAIver-Strategie: multidisziplinäres Praxislernen, partizipative Informatikdidaktik (Open Educational Practices / Offene Bildungspraxis) ⇒ Idealergebnis: eigenes Erfahrungswissen zur Interpretation von Parametern von LLMs (Transparenz) Herkunft von Daten (Provenienz) Biases in Trainingsdaten Anwendbarkeit und Modifizierbarkeit von Chatbots Screenshot der Präsentation
Public
Thomas Renkert🦞

Wer im Sinn von #KIMündigkeit die Motorhaube zwei Millimeter öffnen möchte (lokal, ganz ohne Kosten, eigenen Server oder GPU):

1. #openwebui installieren: github.com/open-webui/open-web

2. Ollama.ai Modell "phi3.5" laden

3. Sofort loschatten, Dokumente ins #RAG laden, im Web suchen...

GitHubGitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webui
#LernenmitKI
ExploreLive feeds
About