Whisper AI ist das Spracherkennungsmodell, das OpenAI 2022 als Open Source veröffentlicht hat. Es wandelt Sprache aus fast jeder Audio- oder Videodatei in Text um, kommt mit Deutsch sehr gut zurecht und ist kostenlos, solange du es auf deinem eigenen Rechner laufen lässt. Für die Whisper-Transkription gibt es inzwischen ein ganzes Ökosystem: schnellere Varianten, Versionen für den Mac, Tools mit Sprechererkennung und fertige Oberflächen für alle, die lieber im Browser arbeiten.
Die Gründerin von sipsip.ai hat selbst eines dieser Tools entwickelt: AI-Video-Transcriber, inzwischen mit über 3.300 Sternen auf GitHub. Aus diesem Projekt ist später das gehostete Tool Video transkribieren von sipsip entstanden. Hier findest du die sieben besten Open-Source-Werkzeuge rund um Whisper, mit ihren Stärken und Grenzen.
Was ist Whisper AI?
Whisper ist ein Transformer-Modell mit Encoder-Decoder-Architektur, das mit sehr vielen Aufnahmen in vielen Sprachen trainiert wurde. Es erreicht in 57 Sprachen Wortfehlerraten auf dem Stand der Technik. Praktisch heißt das: Interviews, Vorlesungen, Podcasts und Meeting-Mitschnitte auf Deutsch kommen als gut lesbarer Text zurück.
Whisper verarbeitet die Tonspur jedes Formats, das FFmpeg lesen kann, also so gut wie jede Datei. Ein Befehl wie whisper video.mp4 --model large-v3 liefert neben dem Text auch eine SRT- und eine VTT-Untertiteldatei.
Die Whisper-Modelle im Überblick
Whisper gibt es in mehreren Größen, von tiny über base und medium bis large-v3:
- tiny und base laufen auf der CPU, auch auf älteren Laptops, und eignen sich für schnelle Tests.
- medium ist ein guter Mittelweg und läuft ordentlich auf Apple-Silicon-Macs mit 16 GB Speicher.
- large-v3 (rund 1,5 GB) ist das genaueste Modell. Laut den veröffentlichten Benchmarks von OpenAI liegt die Wortfehlerrate bei klarem englischem Audio unter 3 %. Für zügiges Arbeiten braucht es eine Grafikkarte mit 8 bis 10 GB VRAM.
Zur Einordnung: Das Original-Whisper ist auf Genauigkeit ausgelegt. large-v3 schafft auf einer CPU etwa 0,1-fache Echtzeit, eine Stunde Audio dauert also rund zehn Stunden. Deshalb greifen die meisten zu einer der optimierten Varianten weiter unten.
Whisper-Transkription: die 7 besten Open-Source-Tools
1. AI-Video-Transcriber: alles in einer Weboberfläche
3.300+ Sterne · Python · Web-UI · Apache-2.0
AI-Video-Transcriber nimmt dir das Zusammenstecken mehrerer Bibliotheken ab. Nach git clone, ./install.sh und python3 start.py läuft unter http://localhost:8000 eine Weboberfläche, alternativ per docker-compose up -d.
- Über 30 Plattformen: YouTube, TikTok, Bilibili, Apple Podcasts, SoundCloud und mehr. Vorhandene Untertitel holt das Tool per yt-dlp sofort.
- Faster-Whisper als Rückfallebene: Wo keine Untertitel existieren, transkribiert Faster-Whisper den Ton (Modell von tiny bis large wählbar, Standard ist base).
- Lokale Dateien: MP4, MKV, WebM, MP3, WAV, M4A, OGG und FLAC per Drag-and-drop.
- Zusammenfassung: Das Transkript geht an einen beliebigen OpenAI-kompatiblen LLM-Endpunkt, der es bereinigt, übersetzt und in 11 Sprachen zusammenfasst. Transkript, Zusammenfassung und Übersetzung lädst du jeweils als Markdown herunter.
Dazu gibt es eine CLI und einen MCP-Server für Claude Code und Codex. Voraussetzungen sind Python 3.8+, FFmpeg und ein API-Schlüssel für die Zusammenfassungen. Größere Modelle laufen mit Grafikkarte deutlich schneller, das Standardmodell base läuft gut auf der CPU.
Ideal für: alle, die ein fertiges Werkzeug für Dateien, Links und Podcasts wollen statt einer Bibliothek.
2. OpenAI Whisper: das Basismodell
72.000+ Sterne · Python · CLI · MIT
Das Original ist die Grundlage für alle anderen Tools in dieser Liste und das genaueste frei verfügbare Modell für mehrsprachige Inhalte. Es arbeitet rein in der Kommandozeile und ist auf Genauigkeit statt Tempo ausgelegt.
Ideal für: Entwickler, die eigene Pipelines bauen, und Forschende, die maximale Genauigkeit brauchen.
3. Faster-Whisper: schneller und sparsamer
14.000+ Sterne · Python · Bibliothek · MIT
Faster-Whisper setzt Whisper mit CTranslate2 um, einer C++-Inferenz-Engine. large-v3 läuft damit 2- bis 4-mal so schnell bei halbem Speicherbedarf. Im Test mit einer 60-minütigen MP4 auf einer RTX 3080 dauerte die Transkription rund 8 Minuten, mit dem Original-Whisper 25 bis 30 Minuten.
Dazu kommen Zeitstempel auf Wortebene und eine optionale Sprachaktivitätserkennung (VAD), die Pausen überspringt. Faster-Whisper ist eine Python-Bibliothek für Audiodateien.
Ideal für: Entwickler, die das beste Verhältnis aus Tempo und Genauigkeit suchen.
4. whisper.cpp: für CPU und Apple Silicon
38.000+ Sterne · C++ · CLI · MIT
whisper.cpp ist eine C++-Portierung, die ganz ohne Python auskommt. Auf einem MacBook Pro mit M2 und 16 GB transkribiert es mit dem Modell large-v2 eine 30-minütige Datei in etwa 4 Minuten, ganz ohne Grafikkarte. Mit dem Core-ML-Backend ist es auf Apple Silicon meist die schnellste lokale Option. WASM-Bindings ermöglichen sogar Spracherkennung im Browser.
Ideal für: Mac-Nutzer und Anwendungen außerhalb von Python. Zum Kompilieren brauchst du eine C++-Toolchain.
5. WhisperX: mit Sprechererkennung
13.000+ Sterne · Python · Bibliothek · BSD
WhisperX ergänzt Faster-Whisper um drei Dinge: exakte Wort-Zeitstempel über wav2vec2, Sprechererkennung (wer hat was gesagt) und Batch-Verarbeitung. Für die Sprechererkennung brauchst du ein HuggingFace-Konto (pyannote.audio). Am zuverlässigsten ordnet WhisperX die Sprecher zu, wenn die Redebeiträge klar getrennt sind.
Ideal für: Interviews mit mehreren Personen, journalistische Gespräche und alle, die Transkripte mit Sprecherkennzeichnung brauchen.
6. Insanely-Fast-Whisper: maximaler GPU-Durchsatz
7.000+ Sterne · Python · Pipeline · Apache 2.0
Mit Flash Attention 2 und Batch-Inferenz schafft Insanely-Fast-Whisper auf einer A100 über 150-fache Echtzeit: eine Stunde Audio in unter 25 Sekunden. Es setzt eine CUDA-Grafikkarte voraus und ist auf Server-Hardware zugeschnitten.
Ideal für: Teams, die große Videoarchive mit GPU-Servern abarbeiten.
7. auto_subtitle: Untertitel in einem Schritt
5.000+ Sterne · Python · CLI · MIT
auto_subtitle erzeugt mit einem einzigen Befehl eine SRT-Datei und brennt sie per FFmpeg ins Video: auto_subtitle video.mp4 -o output/. Das Tool konzentriert sich ganz auf den Weg vom Rohvideo zum untertitelten Video.
Ideal für: Creator und Cutter, die schnell eingebrannte Untertitel brauchen. Mehr Wege zu Untertiteln findest du im Ratgeber Untertitel erstellen.
Vergleich: Whisper-Tools auf einen Blick
| Tool | Oberfläche | YouTube-Links | Sprechererkennung | Sterne |
|---|---|---|---|---|
| AI-Video-Transcriber | Web-UI | ✅ | — | 3,3k |
| OpenAI Whisper | CLI | — | — | 72k |
| Faster-Whisper | Bibliothek | — | — | 14k |
| whisper.cpp | CLI | — | — | 38k |
| WhisperX | Bibliothek | — | ✅ | 13k |
| Insanely-Fast-Whisper | Pipeline | — | — | 7k |
| auto_subtitle | CLI | — | — | 5k |
Welches Whisper-Tool passt zu dir?
- Du willst einfach loslegen: AI-Video-Transcriber gibt dir eine Weboberfläche für Dateien, YouTube-Links und Podcasts. Die Einrichtung ist ein einmaliges Installationsskript oder Docker.
- Du baust eine eigene Pipeline: Faster-Whisper bietet das beste Verhältnis aus Tempo und Genauigkeit, mit Wort-Zeitstempeln und VAD.
- Du arbeitest auf einem Mac ohne Grafikkarte: whisper.cpp läuft nativ über Core ML.
- Du transkribierst Interviews mit mehreren Personen: WhisperX liefert Sprecherkennzeichnung in einer Pipeline.
- Du hast ein riesiges Archiv: Insanely-Fast-Whisper auf einem GPU-Server.
Lokale Whisper-Tools sind die richtige Wahl, wenn Daten im Haus bleiben sollen, du sie in eigene Systeme einbinden willst oder sehr große Mengen kostenlos verarbeiten möchtest. Gerade bei vertraulichen Interviews oder Patientengesprächen ist die Verarbeitung auf dem eigenen Rechner ein starkes Argument.
Whisper-Transkription im Browser, ganz ohne Installation
Wenn dir Python, FFmpeg und Modellgrößen zu viel Aufwand sind, nimmst du einen gehosteten Dienst. Die KI-Transkription von sipsip.ai ist aus AI-Video-Transcriber hervorgegangen und läuft komplett im Browser: Vorhandene Untertitel werden zuerst genutzt, sonst transkribiert Deepgram nova-3 den Ton. Grafikkarte und Wartung entfallen.
So gehst du vor:
- Für Audiodateien öffnest du Audio transkribieren, für Videos Video transkribieren, für YouTube das YouTube-Transkript.
- Datei hochladen oder Link einfügen. Die Sprache wird automatisch erkannt, Deutsch inklusive.
- Text kopieren oder als .txt herunterladen.
Du startest ohne Konto. Mit einer kostenlosen Anmeldung, ganz ohne Kreditkarte, machst du weiter und bekommst in Distill zusätzlich Zusammenfassung, Kernpunkte und Übersetzung. Liegt eine Aufnahme als großes Video vor, ziehst du vorher mit Video in MP3 umwandeln nur die Tonspur heraus, direkt im Browser.
Fazit
Whisper AI hat Spracherkennung auf hohem Niveau für alle zugänglich gemacht. Wer gern selbst einrichtet, findet mit Faster-Whisper, whisper.cpp oder WhisperX das passende Werkzeug für jeden Rechner. Wer eine fertige Oberfläche möchte, startet mit AI-Video-Transcriber. Und wer einfach schnell einen Text braucht, lädt die Datei bei sipsip hoch und hat das Transkript nach kurzer Zeit im Browser.
