🦙 Ollama Lokale LLMs
Ollama ermöglicht es Ihnen, Large Language Models lokal auf Ihrem Computer oder Server zu betreiben. Keine Cloud, keine API-Kosten, keine Datenschutzbedenken - Ihre KI läuft bei Ihnen vor Ort.
🔒
Lokale Ausführung
LLMs komplett offline auf Ihrem eigenen Server oder PC betreiben.
🛡️
Datenschutz
Ihre Daten verlassen niemals Ihren Server - 100% Privatsphäre.
💰
Keine API-Kosten
Einmalige Hardware-Kosten statt laufende API-Gebühren.
🎮
GPU Beschleunigung
NVIDIA und AMD GPU Support für schnelle Inferenz.
🦙
Modelle
Unterstützung für Llama, Mistral, Codellama, Phi und viele mehr.
🐳
Docker Support
Einfache Installation und Verwaltung via Docker Container.
Unterstützte Modelle
| Modell | Parameter | VRAM | Einsatz |
|---|---|---|---|
| Llama 3.1 | 8B | ~16GB | Allround |
| Llama 3.1 | 70B | ~140GB | Hochleistung |
| Mistral | 7B | ~14GB | Schnell |
| Codellama | 13B | ~26GB | Programmierung |
| Phi-3 | 4B | ~8GB | Einsteiger |
| Qwen 2.5 | 14B | ~28GB | Programmierung |
Installationsanleitung
1
macOS
brew install ollama
2
Linux/WSL
curl -fsSL https://ollama.com/install.sh | sh
3
Docker
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Empfohlene Hardware
Die richtige Hardware hängt davon ab, welche Modelle Sie betreiben möchten:
Einsteiger
Für kleine Modelle (bis 7B Parameter)
Fortgeschritten
Für mittlere Modelle (7-14B Parameter)