ChatGPT ohne Cloud: So gut funktioniert KI direkt auf dem Mac

Es ist selbstverständlich geworden, Claude, ChatGPT und Gemini per Webseite oder App zu nutzen. So gut wie kein Heimanwender will aber dafür bisher hohe monatliche Gebühren zahlen.

Diese Dienste werden auch für Unternehmen immer kostspieliger und hier ist auch das Thema Datenschutz ein immer größeres Problem. Lassen Sie etwa mit einem Standard-Account von ChatGPT interne Firmendokumente analysieren, werden diese Daten von den KI-Firmen ausgewertet. Die meisten Arbeitgeber verbieten dies ausdrücklich und blocken deshalb auch in steigendem Maße KI oder „Schatten-IT“.

Es gibt deshalb gute Gründe, sich mit lokal installierter KI zu beschäftigen. Firmen haben dafür Spezialisten, eine lokal installierte KI könnte aber auch für Heimanwender interessant werden und die Nutzung auf dem eigenen Mac ist dank Tools wie Ollama immer einfacher geworden.

Warum kommen in Firmen kostenlose Modelle plötzlich in Mode?

Aktuell blicken viele Firmen besorgt auf die steigenden Kosten ihres Claude- oder ChatGPT-Abos. Mittlerweile gilt immer öfter das neue Schlagwort tokenomical – bei der Nutzung von KI sollen die Angestellten immer öfter auf die Kosten achten. Viele Firmen in den USA haben begonnen, kostenlos nutzbare Modelle wie Llama zu nutzen, auch Open Models genannt. So nutzt etwa der Videokonferenzsoftwarehersteller Zoom neben den kostenpflichtigen Modellen von Anthropic und OpenAI auch das kostenlos nutzbare Llama (Aussprache wie „Lama“) von Meta.

Die aktuellen Modelle von OpenAI und Anthropic sind zwar besonders leistungsstark, aber auch besonders teuer. Für Standardaufgaben – etwa die Zusammenfassung eines langen PDFs – können Sie aber auch ein simples, günstiges Open Model nutzen. Das könnte auch bald für Heimanwender sinnvoll sein.

Aktuell bester Preis: Macbook Air M5

Wie kann ich LLMs auf dem Mac nutzen?

Für die ersten Schritte mit einer lokalen KI wie Qwen oder Llama gibt es eigentlich zwei empfehlenswerte Lösungen: Ollama und LM Studio. Dabei ist wohl weniger die Bedienung eine Hürde, als das für Einsteiger sperrige Konzept.

Das Problem bei der Nutzung eines LLM: Sie benötigen für die Nutzung einer KI eine Bedienoberfläche – etwa für die Installation, aber auch für die Eingabe von Befehlen. Sie können die KI auch meist komplett über das Terminal verwenden, das ist aber recht unkomfortabel.

Stephan Wiesend

Ollama und LM Studio liefern neben Servern und Installationsroutinen auch eine solche Bedienoberfläche und eine Chat-Umgebung. Relativ einfach können Sie hier kostenlos nutzbare Modelle installieren.

Stephan Wiesend

Von den beiden Lösungen ist allerdings Ollama etwas komplizierter und stellt manche Funktionen nur per Terminal zur Verfügung. Teilweise müssen Sie auch die Webseite von Ollama nutzen, etwa für die Suche nach Modellen. Diese Lösung richtet sich eher an Entwickler, die höhere Ansprüche haben und eine KI in andere Anwendungen integrieren oder automatisieren wollen – etwa mit OpenClaw.

Qwen installieren Sie etwa mit dem Befehl „ollama run qwen2.5:7b“ Auch die Deinstallation erfolgt per Kommandozeile mit dem Befehl „ollama rm qwen2.5:7b“.

Ein wenig einsteigertauglicher ist LM Studio. Es bietet eine komfortablere Oberfläche für die Auswahl der LLM, die Installation und den Chat, erfordert aber auch einige Einarbeitung. Aus einer großen Übersicht können Sie KI-Modelle auswählen und installieren, LM Studio überprüft sogar, ob die KI mit Ihrem Mac kompatibel ist.

Mit beiden Tools können Sie eine einfache LLM wie Qwen 2.5 oder Llama 3 einfach installieren und sofort nutzen. Weitere Lösungen sind etwa GPT4All und AnythingLLM. Mit OpenWebUI gibt es auch eine Weboberfläche für die Nutzung von KIs.

Welches LLM ist für mich geeignet? Genügt ein alter Mac Mini?

Gerade für das erste Testen von Agenten würde mancher sicher gerne seinen alten Intel-Mac Mini reaktivieren – leider sind diese alten Macs für die meisten Aufgaben zu leistungsschwach. Ein M1-Chip sollte es schon sein und möglichst viel RAM – gerade bei leistungsfähigeren LLMs wie Qwen 3.

Bedauerlicherweise ist bei lokalen KIs nicht nur eine schnelle CPU, sondern auch eine gute RAM-Ausstattung wichtig. Mit einem alten Mac Mini M1 mit 8 GB RAM kommen Sie da nicht weit. Hier laufen nur kompakte Modelle wie das zwei Jahre alte Llama 3 8B mit 8 „Billion“ (übersetzt Milliarden) Parametern.

Überfordert ist ein Mac mit 16 GB RAM ungünstigerweise schon von Modellen mit ab 32 Milliarden Parametern (32B). Schon beim Test von Qwen 3.6 27B dürfen Sie nicht überrascht sein, wenn jede Frage nur mit großer Verzögerung beantwortet wird und durch die hohe RAM-Last plötzlich Maus und Tastatur nicht mehr funktionieren.

Stephan Wiesend

Allgemein empfehle ich beim Testen, die Aktivitätsanzeige zu nutzen und die Anzeige des Speicherdrucks im Auge zu behalten. So belegt etwa Ollama bereits sehr viel RAM, wenn die Serverumgebung gestartet ist.

Was kann ich mit einem lokalen LLM wie Qwen 2.5 anfangen?

Haben Sie erst eine lokal auf Ihrem Mac laufende KI gefunden und heruntergeladen, ist die Nutzung recht problemlos möglich. Auf einem Mac Mini M4 mit 16 GB RAM kann etwa Qwen 2.5 7B problemlos verwendet werden. Das Modell unterstützt 29 Sprachen und kann etwa bei Softwareentwicklung, Textverarbeitung und strukturierten Daten helfen. Problemlos nutzbar sind auch Gemma 4 12B und Llama 3.1.

Eine Einschränkung ist allerdings, dass schwache KI-Modelle in der Praxis nicht mit einem aktuellen KI-Webdienst wie Gemini oder Claude mithalten können. Es zeigt sich schnell bei der Texterstellung, dass die Leistung im direkten Vergleich auch qualitativ deutlich schlechter ist.

Bei der Erstellung mehrerer Aufgaben mit Texten – etwa eines Essays über Effi Briest – sind die Ergebnisse von Qwen einfach mittelmäßig bis schlecht. Auch beim Zusammenfassen einer E-Mail fällt Qwen durch oberflächliche Zusammenfassungen und sehr redundanten Sprachstil auf – gerade bei deutschen Texten.

Deutlich zuverlässiger arbeitet Gemma 4 12 B, hier erhalten Sie bereits recht brauchbare Texte und Zusammenfassungen. Auch bei der Analyse von Bilddateien arbeitet die KI recht zuverlässig. Ein Problem ist aber der hohe RAM-Bedarf – und die Zusammenfassung einer E-Mail dauert einige Sekunden.

Größtes Problem ist der Webzugriff für Recherchen, bei Ollama und Lm Studio kann eine KI nicht direkt auf das Web zugreifen. Dies ist etwa über Open WebUI oder Erweiterungen möglich, funktioniert aber nicht bei allen Modellen.

Viele einfache Modelle wie Qwen 2.5 können außerdem nur mit Text umgehen, Funktionen für den Umgang mit Bilddateien oder gar Sprachdateien fehlen ganz.

Grundsätzlich haben Sie bei einer lokalen KI nach meinem Eindruck das Problem, dass Sie nur relativ simple LLM nutzen können. Erst ab einem aktuellen Mac mit 32 GB RAM können Sie auch lokal komplexere Modelle verwenden – kein Wunder, dass in den letzten Jahren Mac Mini mit viel RAM plötzlich so stark nachgefragt waren.

Spezialisten als Alternative: Whisper und LLava

Wenn große Textmodelle auf dem Mac schwächeln – wo lohnt sich lokale KI dann überhaupt? Die Antwort liegt in spezialisierten Modellen.

Was nämlich für viele Anwender interessant werden könnte, sind KI-Modelle, die auf eine bestimmte Aufgabe spezialisiert sind. Hier gibt es zahllose Lösungen.

Whisper

Für das Umwandeln einer Audiodatei in Text – auch Transkribieren genannt – gibt es mit der KI Whisper von OpenAI eine tolle Lösung.

Sie können damit etwa eine Audioaufnahme einer Vorlesung, Konferenz, oder Teams-Sitzung in einen Text umwandeln lassen. Die aktuellen Versionen von Whisper können sogar Sprecher erkennen und zuordnen. Für die Installation ist nicht einmal ein Tool wie Ollama notwendig, Whisper kann auch über einen Paketmanager wie Homebrew direkt installiert werden.

Stephan Wiesend

Bei Installation über Homebrew kann das Tool aber nur per Kommandozeile oder Skript genutzt werden, einfacher ist die Bedienung über eine kostenlose Version von Macwhisper. Die interessanteren Funktionen sind zwar kostenpflichtig, das Übersetzen einzelner Dateien ist damit aber gut möglich.

Llava

Für die Bildanalyse gibt es ebenfalls eine interessante Spezial-KI: Llava nutzt ein Sprachmodell und einen Vision-Encoder, um Bilddateien zu analysieren. Ein Fotograf könnte etwa Llava lokal nutzen, um Beschreibungen seiner Fotos zu erhalten, ein Journalist damit Untertitel für Fotos erstellen lassen.

Installieren können Sie Llava etwa über Ollama, die Nutzung ist dann per Chat möglich. Bei einem ersten Test funktionierte Llava auch auf unserem Mac Mini recht problemlos. Nicht ganz zufriedenstellend ist allerdings die Zuverlässigkeit. Bei einer Aufnahme des Apple Store in Berlin erstellte Llava problemlos eine zutreffende Beschreibung. Dagegen war Llava bei einem Bild des Münchner Apple-Stores überzeugt, dass es sich um eine Kanzlei handele – mit einer „Gruppe of People“ [sic]. Im Grunde müssen die Beschreibungen vor jeder Veröffentlichung doch überprüft werden.

Stephan Wiesend

Open Claw

Einen echten Hype gab es um OpenClaw, einen KI-basierten virtuellen Assistenten. Dieses Tool wird lokal auf einem Mac installiert und basiert als agentenbasierte Schnittstelle für autonome Arbeitsabläufe. Das KI-Tool nutzt lokale Modelle, um Skripte, Apps, Browser und Online-Dienste zu steuern, um etwa einen Kalender zu verwalten, Reisen zu buchen oder auch Daten auf dem eigenen Mac zu verwalten. Open Claw kann per Terminal direkt installiert werden, kommunizieren können Sie mit dem Tool über verschiedene Messenger.

Die Nutzung eigener Agenten ist aber bisher nur für Profis sinnvoll – ist doch auch die Nutzung recht riskant und in Unternehmen untersagt.

Erstellung von Grafiken und Bilddateien

Nicht gedacht sind diese beiden Plattformen aber für die Erstellung von Bild- oder gar Videodateien.  Für die Erstellung von Bilddateien per KI – Stable Diffusion – gibt es spezialisierte KIs, die Sie besser mit spezialisierten Tools wie Draw Things nutzen. Über Draw Things können Sie – ähnlich wie bei LM Studio oder OOllama – zahlreiche KI-Modelle laden und direkt nutzen.

Möglich ist dann mit einer KI wie Flux nicht nur die Erstellung von Bildern per Textprompt, sondern auch spezielle Edit-Modelle wie Qwen Edit für die Bearbeitung von Fotos. Inpainting nennt man hier etwa das Entfernen von Bildelementen, aber auch ein hochwertiges Upscaling auf eine größere Größe ist damit gut möglich.

Ungewöhnlich: Sogar auf einem iPad Air mit M-Chip können Sie Draw Things mit Modellen wie Flux Klein nutzen.

Stephan Wiesend

NAS-Lösungen mit KI

Auch Hersteller von NAS-Lösungen haben übrigens längst eigene KI-Funktionen ergänzt. So bietet Synology in seiner auf NAS laufenden Software Synology Office KI-Funktionen und mit der Synology-AI-Konsole die Option, Dienste wie OpenAI und Gemini einzubinden. Die meisten Hersteller nutzen außerdem bereits KI für die Erschließung von Dokumenten, Fotos und Videos.

Die Fotoverwaltung Synology Photo unterstützt etwa bereits die Erkennung von Objekten und Personen, Daten einer Videoüberwachung können bei einigen Modellen ebenfalls automatisch ausgewertet werden. PDFs und Office-Dokumente können zudem automatisiert per OCR erfasst und ausgewertet werden.

Die meisten NAS-Systeme basieren allerdings auf eher schwachen CPUs mit wenig Arbeitsspeicher. Für die Erschließung von Dokumenten und PDFs mit spezialisierten Modellen ist dies aber ausreichend.

Auch zwei kürzlich von uns getestete NAS von Ugreen bieten deshalb nur einfache KI-Funktionen, etwa eine Fotoverwaltung mit Gesichtserkennung.

Noch mehr KI-Funktionen bieten erst teurere Modelle wie das kommende iDX6011 Pro, das einen eigenen KI-Assistenten, Transkription von Sprachaufnahmen und lokale Sprachmodelle wie Qwen3 und GPT-4.1 Mini unterstützt. Das Gerät soll in Kürze erscheinen, für ab 1200 Euro.

Christoph Hoffmann

Fazit:

Auch ohne viel Hintergrundwissen können Sie eine lokale Version einer KI installieren und ausprobieren. Sie sparen eventuell viel Geld und müssen sich keine Sorgen um Datensicherheit machen.

Problematisch wird es aber noch immer beim Nutzwert: Auf vielen Macs laufen nur abgespeckte Versionen, die nicht an die Webversionen von Gemini und Claude heranreichen. Planen Sie außerdem die KI wirklich produktiv einzusetzen – etwa für die Umwandlung von Transkripten –, stoßen Sie im Alltag schnell auf Hürden und Qualitätsprobleme. Gerade die Nutzung schwacher KI-Modelle ist eigentlich mehr eine Spielerei, die sinnvolle Nutzung von Agenten etwas für Profis.

Effektiver sind da oft kommerzielle Angebote wie Macwhisper, die auf KI zurückgreifen, und spezialisierte KIs wie llava. Auch Apple Intelligence macht neben diesen Angeboten plötzlich keine schlechte Figur mehr – gerade für berufliche Anwender.