Einleitung
Dass wir uns im Zeitalter der Künstlichen Intelligenz (KI) befinden, sollte inzwischen allgemeiner Konsens sein. KI-Technologien verändern bereits jetzt viele Branchen grundlegend und bieten enorme Chancen, Prozesse effizienter zu gestalten, neue Geschäftsmodelle zu entwickeln und den Wettbewerbsvorsprung auszubauen. Dennoch zögern viele Unternehmen, diese Technologien zu implementieren. Häufig liegen die Gründe dafür in den vermeintlich hohen Kosten für die Implementierung oder in fehlender Qualifizierung der Mitarbeiter.

Wir schlagen vor, Mitarbeiter auf dem KI-Campus zu schulen. Diese Online-Plattform bietet eine hervorragende Möglichkeit, um sich niedrigschwellig in die Welt der KI einzuarbeiten. Mit kostenlosen Kursen, praxisnahen Beispielen und leicht verständlichen Inhalten eignet sich der KI-Campus ideal als Einstiegspunkt, um KI-Kompetenzen im Unternehmen aufzubauen.

Alternativ zu vielen kommerziellen Lösungen gibt es jedoch auch die Möglichkeit, eine eigene KI zu entwickeln und aufzusetzen. Diese Option bietet maximale Flexibilität und Unabhängigkeit, insbesondere wenn sensible Daten oder spezifische Anwendungsfälle berücksichtigt werden sollen. Zu diesem Zweck haben wir ein detailliertes Tutorial erstellt, das Schritt für Schritt erklärt, wie Sie eine eigene KI-Lösung auf Basis moderner Open-Source-Modelle (wie llama3) einrichten können. Dieses Tutorial richtet sich an alle, die im Unternehmen KI-Technologien vorantreiben möchten – unabhängig von ihrer bisherigen technischen Expertise.

Unser Tutorial ist für Windows-Nutzer geschrieben. Bei Linux und Mac funktioniert das ähnlich. Letztlich verwenden die Tools ohnehin ein Linux-Subsystem. Davon sieht der Nutzer unter Windows jedoch nichts.

Schritt 1: Voraussetzungen
Installieren Sie Docker Desktop über https://www.docker.com/products/docker-desktop. Installieren Sie Ollama über https://ollama.com. Registrieren Sie sich bei Open WebUI über https://openwebui.com. Stellen Sie sicher, dass Ihr Rechner mindestens 16 GB RAM (empfohlen: 32 GB), einen modernen Prozessor (z. B. Intel i7 oder AMD Ryzen 5) und optional GPU-Unterstützung besitzt.

Schritt 2: Open WebUI vorbereiten
Registrieren Sie sich bei Open WebUI und melden Sie sich an. Erstellen Sie ein neues Modell, indem Sie zu „Modelle > Neues Modell“ navigieren. Geben Sie einen Namen ein, z. B. „KI Nr.1“. Wählen Sie als Basis das Modell „llama3.2:3b“. Schreiben Sie einen System-Prompt wie „Ich bin der KI Assistent Nr.1, spezialisiert auf (nennen Sie hier Ihr Themenfeld). Meine Aufgabe ist es, präzise, höfliche und verständliche Antworten zu geben.“ Speichern Sie das Modell. Wenn Sie mit der Konfiguration fertig sind, können Sie diese im Json -Format exportieren und später wieder importieren.

Schritt 3: Docker einrichten
Installieren Sie Docker Desktop, starten Sie Docker und führen Sie folgenden Befehl aus, um den Open WebUI-Container zu starten: docker run -d -p 3000:8080 -p 11434:11434 --add-host=host.docker.internal:host-gateway --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama. Überprüfen Sie, ob der Container läuft, indem Sie docker ps ausführen. Falls es Probleme gibt, können Sie die Logs mit docker logs open-webui einsehen.

Schritt 4: Ollama einrichten
Installieren Sie Ollama. Laden Sie das Modell „llama3.2:3b“ mit dem Befehl ollama pull llama3.2:3b herunter. Überprüfen Sie, ob das Modell erfolgreich heruntergeladen wurde, indem Sie ollama list ausführen.

Schritt 5: Open WebUI starten und testen
Öffnen Sie im Browser die Adresse http://localhost:3000. Navigieren Sie zu Ihrem Modell „KI Nr. 1“, aktivieren Sie das Modell und testen Sie den Prompt, indem Sie eine Beispielanfrage eingeben. Sie werden feststellen, dass die KI nicht die sprachlichen Fähigkeiten hat, wie z.B. Chat GPT. Sie werden jedoch feststellen, dass, um so umfangreicher die Wissensdatenbank wird, ihre KI auch besser wird.

Schritt 6: Wissensdatenbanken hinzufügen
Erstellen Sie eine Wissensdatenbank, indem Sie zu „Einstellungen > Wissensspeicher > Erstellen“ gehen. Fügen Sie eine Beschreibung hinzu, z. B. „Enthält technische Informationen und Anleitungen zu UTAX Büromaschinen“. Laden Sie relevante PDF-Dokumente, Anleitungen oder FAQs hoch. Taggen Sie die Dateien mit Begriffen wie „UTAX“, „Service“ oder „Technik“. Gehen Sie zurück zu Ihrem Modell „KI Nr. 1“ und verknüpfen Sie den Wissensspeicher.

Schritt 7: Erweiterung und Feintuning
Passen Sie die Modellparameter an, um die Antworten zu verfeinern. Reduzieren Sie beispielsweise die Temperatur auf 0.4, um präzisere Antworten zu erhalten. Erhöhen Sie die maximale Tokenanzahl auf 1024, um längere Antworten zu ermöglichen. Sammeln Sie Feedback von Benutzern und ergänzen Sie neue Wissensdokumente oder Beispiele, um die Antworten weiter zu optimieren.

Schritt 8: Wartung und Weiterentwicklung
Aktualisieren Sie das Modell regelmäßig mit ollama update llama3.2:3b, um sicherzustellen, dass es auf dem neuesten Stand bleibt. Experimentieren Sie mit neuen Features von Open WebUI, wie Webhooks oder API-Integrationen, um zusätzliche Funktionen zu testen.

Zusammenfassung der wichtigsten Befehle

Befehl	Funktion
docker run ...	Startet den Open WebUI-Container
docker ps	Überprüft laufende Container
ollama pull llama3.2:3b	Lädt das Modell herunter
ollama list	Listet verfügbare Modelle
ollama run llama3.2:3b	Startet das Modell lokal
docker logs open-webui	Zeigt Logs von Open WebUI

docker start open-webui Zum Starten des Dockercontainers

Um das neue KI Model zu optimieren, können Sie mit den Parametern experimentieren.

Empfohlene Einstellungen:

• Temperatur: 0.1–0.2 (für sachliche und konsistente Antworten).
• Top-k: 20–30 (begrenzte Token-Auswahl für präzisere Antworten).
• Top-p: 1.0 (oder standardmäßig belassen).
• max_tokens: 300–500 (Begrenzung der Antwortlänge, um prägnant zu bleiben).

Sie werden feststellen, dass Sie die Optionen am KI-Modell sowohl auf dem Localhost:3000 durchführen können, aber auch im Account von Open WebUI.

Online oder lokal: Wo sollten Sie die Parameter ändern?

Wenn Sie sowohl einen Account auf Open WebUI (online) als auch eine lokale Instanz auf localhost:3000 nutzen, ist es wichtig, zu wissen, wann und wo Änderungen an den Parametern vorgenommen werden sollten. Beide Varianten haben spezifische Vorteile.

1. Änderungen im Online-Account (Open WebUI)

Wenn Sie Änderungen direkt in Ihrem Open WebUI-Account vornehmen:

Änderungen gelten ausschließlich für Modelle, die online in Ihrem Account hinterlegt sind. Diese Methode ist ideal, wenn Sie von verschiedenen Geräten oder Standorten auf Ihre KI zugreifen möchten. Änderungen im Online-Account werden nicht automatisch auf die lokale Instanz übertragen.

Wann sollten Sie die Online-Version nutzen?

Wenn Sie Ihre Änderungen langfristig speichern und von überall darauf zugreifen möchten.

Wenn Sie an mehreren Projekten arbeiten und eine zentrale Verwaltung über Open WebUI bevorzugen.

Ablauf:

• Melden Sie sich in Ihrem Open WebUI-Account an.
• Nehmen Sie die gewünschten Änderungen an den Parametern vor (z. B. temperature, max_tokens) und speichern Sie diese.
• Synchronisieren Sie Ihre lokale Instanz manuell, falls erforderlich.

2. Änderungen in der lokalen Instanz (http://localhost:3000)

Die Änderungen gelten nur für das Modell, das auf Ihrem Rechner läuft. Sie behalten die volle Kontrolle über die Einstellungen und können Änderungen sofort testen. Diese Anpassungen wirken sich nicht auf die Online-Version in Ihrem Open WebUI-Account aus.

Wann sollten Sie lokal arbeiten?

1. Wenn Sie Parameter oder Modelle ausprobieren möchten, bevor Sie diese langfristig speichern.
2. Wenn Ihr Hauptfokus auf einem Modell liegt, das nur lokal verfügbar sein soll.
3. Bei rechenintensiven Modellen, die lokal betrieben werden, um Serverressourcen zu schonen.

Synchronisation zwischen beiden Varianten:

Wenn Sie möchten, dass Ihre Änderungen sowohl online als auch lokal verfügbar sind, müssen Sie diese manuell synchronisieren. Laden Sie das Modell von Open WebUI herunter und importieren Sie es in die lokale Instanz. Oder exportieren Sie ein lokal angepasstes Modell und laden Sie es in Ihren Open WebUI-Account hoch.

Zusammenfassung:

Nutzen Sie die Online-Version, wenn Sie mehrere Projekte verwalten oder langfristig zentralisierte Modelle speichern möchten. Für schnelle Tests und lokale Konfigurationen bietet localhost:3000 den Vorteil der direkten Kontrolle. Wählen Sie je nach Bedarf, ob die Änderungen lokal oder online erfolgen sollen, und synchronisieren Sie beide Varianten bei Bedarf.

Fazit

Mit diesem Tutorial können Sie Ihre eigene KI auf Basis von llama3.2:3b effizient einrichten und betreiben. Sollten Sie während der Umsetzung auf Fragen oder Probleme stoßen, stehen Ihnen zahlreiche Ressourcen und Communitys zur Verfügung. Nutzen Sie diese Chance, um die Zukunftstechnologie KI in Ihrem Unternehmen voranzutreiben!

Sehr wahrscheinlich wird das nicht alles sofort rundlaufen. Sie müssen Gedult haben und vor allem darauf achten, dass sie mit Ollama auch das gleiche Basis-Modell verwenden, welches Sie am Anfang auf Open WebUI ausgewählt haben. Möglicherweise müssen Sie in der Firewall Ports freigeben. Die Befehle geben sie am Terminal ein (Sie starten das Teminal unter Windows mit dem Befehl cmd in der Eingabeaufforderung)

Bedenken sie, dass sich die Versionsnummern ändern und sie diese anpassen müssen.

###

Wer einfach nur eine fertige KI auf den Localhost bekommen möchte, braucht obenwebui.com natürlich nicht.

Hier ist ein Schritt-für-Schritt-Tutorial, um LLaMA 3 mit Docker und Ollama auf localhost:3000 zu starten:

Schritt 1: Installieren Sie Docker

• Wenn Sie Docker nicht bereits installiert haben, können Sie es hierher herunterladen und installieren:
• Docker Hub](https://hub.docker.com/
• Installationsanweisungen für Windows bhttps://docs.docker.com/install/windows/
• Installationsanweisungen für macOS https://docs.docker.com/install/mac-osx/
• Schritt 2: Laden Sie die Ollama-Images herunter
• Öffnen Sie ein Terminal und laden Sie die Ollama-Images herunter:

docker pull ollamai/llama:latest

Dieses Kommando lädt die neueste Version des LLaMA-Modells herunter.

Schritt 3: Starten Sie das LLaMA-Container

Starten Sie den Container mit dem folgenden Befehl:

docker run -p 3000:3000 ollamai/llama:latest

Dieses Kommando startet einen neuen Container mit der ID „ollamai/llama:latest“ und mappiert den Port 3000 auf die lokale Maschine.

Schritt 4: Starten Sie das Ollama-UI-Script

Öffnen Sie ein anderes Terminal und navigieren Sie zu dem Ordner, in dem Sie das Ollama-UI-Script haben. Dann starten Sie es mit dem folgenden Befehl:

node index.js

Dieses Kommando startet die Benutzeroberfläche von Ollama auf localhost:3000.

Schritt 5: Öffnen Sie die Benutzeroberfläche

Öffnen Sie einen Webbrowser und navigieren Sie zu localhost:3000. Sie sollten nun die LLaMA-Benutzeroberfläche sehen, auf der Sie mit dem Modell interagieren können.

Schritt 6: Stoppieren Sie den Container

Wenn Sie fertig sind, können Sie den Container stoppen, indem Sie den folgenden Befehl verwenden:

docker stop <Container-Name>

Ersatzweise können Sie auch den Container löschen, indem Sie den folgenden Befehl verwenden:

docker rm <Container-Name>

Wenn Sie erfolgreich waren, sollten Sie LLaMA 3 auf localhost:3000 sehen.