Whisper AI es el modelo de reconocimiento de voz de código abierto que OpenAI publicó en 2022 con licencia MIT. Convierte audio en texto en decenas de idiomas, incluido el español, y es la base de casi todas las herramientas de transcripción gratuitas que existen hoy. Con un solo comando, whisper video.mp4 --model large-v3, obtienes la transcripción, un archivo de subtítulos SRT y otro VTT.
La fundadora de sipsip.ai creó AI-Video-Transcriber, un proyecto de código abierto basado en Whisper con más de 3,300 estrellas en GitHub, antes de lanzar la Transcripción con IA de sipsip. Por eso conocemos bien dónde brilla Whisper y dónde empieza a costar tiempo. Aquí tienes cómo funciona, qué necesitas para usarlo y las siete herramientas basadas en Whisper que más valen la pena en 2026.
Cómo funciona Whisper
Whisper procesa el audio con una arquitectura transformer de codificador y decodificador. Lee cualquier formato que pueda abrir FFmpeg, es decir, prácticamente todos: MP3, M4A, WAV, MP4, MKV o WebM.
El modelo viene en varios tamaños, de tiny a large-v3. Los pequeños son rápidos y ligeros; los grandes son más precisos. Según los benchmarks publicados por OpenAI, large-v3 (1.5 GB) logra tasas de error por palabra inferiores al 3 % con audio limpio en inglés, y es el modelo gratuito más preciso para contenido multilingüe en 57 idiomas.
Cómo transcribir en español con Whisper
# Instalar Whisper (requiere Python y FFmpeg)
pip install openai-whisper
# Transcribir un audio en español y generar subtítulos SRT
whisper entrevista.mp3 --model medium --language es --output_format srt
Indicar --language es evita que el modelo pierda tiempo detectando el idioma. El modelo medium equilibra bien velocidad y precisión en la mayoría de los equipos.
Qué equipo necesitas
| Modelo | Dónde funciona bien |
|---|---|
| tiny / base | CPU, incluso laptops antiguas (lento, de 10 a 30 veces la duración del audio) |
| medium | Macs con Apple Silicon y 16 GB de memoria unificada |
| large-v3 | GPU con 8 a 10 GB de VRAM |
El Whisper original está poco optimizado para velocidad: large-v3 en CPU transcribe a unas 0.1 veces el tiempo real, es decir, 10 horas para procesar 1 hora de audio. Por eso casi todos los desarrolladores pasan a alguna de las variantes de abajo.
7 herramientas de código abierto basadas en Whisper
1. AI-Video-Transcriber: la más completa
Más de 3,300 estrellas · Python · interfaz web · Apache-2.0
Une en una sola interfaz web lo que Whisper hace por separado:
- Más de 30 plataformas, como YouTube, TikTok, Bilibili, Apple Podcasts y SoundCloud. Primero usa los subtítulos existentes vía yt-dlp.
- Faster-Whisper como respaldo cuando el video no tiene subtítulos (modelo configurable de tiny a large; base por defecto).
- Archivos locales MP4, MKV, WebM, MP3, WAV, M4A, OGG y FLAC.
- Resumen y traducción: envía la transcripción a cualquier LLM compatible con OpenAI para limpiarla, traducirla y resumirla en 11 idiomas.
Se instala con git clone, ./install.sh y python3 start.py, y se usa en http://localhost:8000 (también hay imagen de Docker, CLI y servidor MCP para Claude Code y Codex). Requiere Python 3.8+, FFmpeg y una clave de API de un proveedor LLM compatible con OpenAI para los resúmenes.
Ideal para: quien quiere una herramienta lista para usar, con interfaz, sin montar un proceso desde cero.
2. OpenAI Whisper: el modelo base
Más de 72,000 estrellas · Python · CLI · MIT
El modelo original, sobre el que se construyen todas las demás. Es la opción para quien quiere el modelo puro y se encarga por su cuenta de la optimización. Funciona por línea de comandos.
3. Faster-Whisper: velocidad y eficiencia
Más de 14,000 estrellas · Python · biblioteca · MIT
Reimplementa Whisper con CTranslate2 y corre large-v3 de 2 a 4 veces más rápido, con un 50 % menos de memoria. En una prueba con un MP4 de 60 minutos en una RTX 3080, procesó el audio en unos 8 minutos, frente a 25 o 30 minutos del Whisper original. Añade marcas de tiempo por palabra y detección de actividad de voz (VAD) para saltar silencios. Trabaja con archivos de audio y se usa desde código.
Ideal para: desarrolladores que montan un proceso de transcripción.
4. whisper.cpp: CPU y Apple Silicon
Más de 38,000 estrellas · C++ · CLI · MIT
Versión en C++ que funciona en CPU y Apple Silicon, directamente sin Python. En una MacBook Pro M2 con 16 GB, transcribe un audio de 30 minutos con el modelo large-v2 en unos 4 minutos. Con el backend Core ML suele ser la opción local más rápida en Mac. Requiere compilar con las herramientas de C++.
5. WhisperX: identificar hablantes
Más de 13,000 estrellas · Python · biblioteca · BSD
Añade a Faster-Whisper la alineación de marcas de tiempo por palabra con wav2vec2, la separación de hablantes (quién dijo qué) y el procesamiento por lotes. Es la opción de código abierto que cubre todo el flujo para entrevistas y reuniones. Necesita una cuenta de Hugging Face para el modelo de hablantes (pyannote.audio), y la separación pierde precisión cuando las voces se superponen.
6. Insanely-Fast-Whisper: máximo rendimiento en GPU
Más de 7,000 estrellas · Python · Apache 2.0
Usa Flash Attention 2 e inferencia por lotes. En una A100 transcribe a más de 150 veces el tiempo real: 1 hora de audio en menos de 25 segundos. Requiere GPU CUDA y está pensada para servidores que procesan grandes volúmenes de archivos.
7. auto_subtitle: subtítulos incrustados
Más de 5,000 estrellas · Python · CLI · MIT
Envuelve Whisper en un solo comando que genera el SRT y lo incrusta en el video con FFmpeg: auto_subtitle video.mp4 -o output/. Para subtítulos sin código, revisa la guía de subtítulos automáticos.
Comparativa rápida
| Herramienta | Interfaz | YouTube | Separa hablantes | Estrellas |
|---|---|---|---|---|
| AI-Video-Transcriber | Web | Sí | — | 3.3k |
| OpenAI Whisper | CLI | — | — | 72k |
| Faster-Whisper | Biblioteca | — | — | 14k |
| whisper.cpp | CLI | — | — | 38k |
| WhisperX | Biblioteca | — | Sí | 13k |
| Insanely-Fast-Whisper | Pipeline | — | — | 7k |
| auto_subtitle | CLI | — | — | 5k |
Cuál elegir
- Quieres que funcione y ya: AI-Video-Transcriber, con su interfaz web para archivos, enlaces de YouTube y pódcasts.
- Montas un proceso en producción: Faster-Whisper, por su equilibrio entre velocidad y precisión.
- Tienes Mac con Apple Silicon y sin GPU: whisper.cpp con Core ML.
- Necesitas saber quién habla en cada momento: WhisperX.
- Procesas una colección enorme de videos en servidores: Insanely-Fast-Whisper.
Whisper sin instalar nada
Las herramientas de código abierto son la opción correcta cuando necesitas procesar en tus propios equipos, integrar la transcripción en tu software o transcribir a gran escala sin costo por archivo. Cuando la instalación te cuesta más tiempo del que ahorras, un servicio alojado es lo práctico.
La Transcripción con IA de sipsip nació de AI-Video-Transcriber y funciona en el navegador: usa los subtítulos existentes cuando los hay y, si faltan, transcribe con Deepgram nova-3. Para un archivo suelto, sube tu audio en Transcribir audio a texto o tu video en Transcribir video a texto; para un video de YouTube, pega el enlace en Transcribir video de YouTube. Funciona con más de 30 idiomas, incluido el español, y puedes empezar sin cuenta.
