위스퍼 AI(Whisper) 사용법: 무료 설치, 구글 코랩, 한국어 음성 인식 정확도

위스퍼 AI(Whisper)는 OpenAI가 2022년 9월에 공개한 음성 인식 AI입니다. 음성 파일이나 동영상을 넣으면 말한 내용을 텍스트로 받아씁니다. 프로그램과 모델이 무료로 공개되어 있어, 구글 코랩이나 내 컴퓨터에서 돌리면 비용 없이 쓸 수 있다는 것이 가장 큰 장점입니다.

이 글에서는 위스퍼로 음성을 텍스트로 바꾸는 세 가지 방법(구글 코랩, 내 컴퓨터 설치, API)과 모델 고르는 법, 한국어 정확도, 위스퍼를 더 편하게 만들어 주는 오픈소스 도구, 설치 없이 쓰는 방법까지 정리합니다.

위스퍼 AI란

Whisper는 약 68만 시간 분량의 다국어 음성으로 학습한 음성 인식 모델입니다. 한국어를 포함한 약 100개 언어의 받아쓰기와 영어 번역을 지원합니다. GitHub 저장소에 코드와 모델 가중치가 MIT 라이선스로 공개되어 있어 상업적으로도 쓸 수 있습니다.

Whisper는 오디오를 30초 단위로 나누고, 트랜스포머 구조의 인코더와 디코더로 소리의 특징에서 글자를 예측합니다. 소음과 억양이 섞인 다양한 음성으로 학습했기 때문에 회의 녹음이나 유튜브 오디오처럼 조건이 완벽하지 않은 녹음에도 비교적 강합니다. 음성 인식의 원리가 더 궁금하다면 음성 인식 원리와 정확도를 함께 읽어 보세요.

위스퍼로 음성을 텍스트로 바꾸는 3가지 방법

방법 1: 구글 코랩에서 위스퍼 무료로 쓰기

구글 코랩은 브라우저에서 Python을 실행하는 구글의 무료 서비스입니다. GPU도 쓸 수 있어 컴퓨터 사양과 상관없이 Whisper를 돌릴 수 있습니다.

1. 구글 코랩을 열고 '새 노트'를 만듭니다.
2. 메뉴의 런타임 → 런타임 유형 변경에서 하드웨어 가속기를 'T4 GPU'로 바꾸고 저장합니다.
3. 코드 셀에 아래 한 줄을 입력하고 실행해 Whisper를 설치합니다.

!pip install -U openai-whisper

4. 왼쪽 폴더 아이콘을 열고 받아쓸 오디오 파일(MP3, M4A, WAV, MP4 등)을 끌어다 올립니다.
5. 새 셀에서 아래 명령을 실행합니다. audio.mp3는 올린 파일 이름으로 바꿉니다.

!whisper "audio.mp3" --model turbo --language Korean

처리가 끝나면 같은 폴더에 .txt(텍스트), .srt와 .vtt(자막), .tsv, .json 파일이 만들어집니다. 파일 이름을 오른쪽 클릭해 내려받으면 끝입니다.

코랩 무료 GPU는 사용 시간에 한도가 있고, 일정 시간 조작하지 않으면 세션이 끊기면서 올린 파일도 사라집니다. 긴 오디오를 처리했다면 끝나는 즉시 결과를 내려받아 두세요.

방법 2: 내 컴퓨터에 위스퍼 설치하기

오디오를 외부 서버로 보내지 않고 받아쓰고 싶다면 내 컴퓨터에 Whisper를 설치합니다. 사내 회의나 취재 녹음처럼 보안이 중요한 자료에 맞는 방법입니다.

1. Python(공식 테스트 버전 3.8~3.11)을 설치합니다.
2. 오디오를 읽는 데 쓰는 ffmpeg를 설치합니다. 맥은 brew install ffmpeg, Windows는 winget install ffmpeg 등으로 설치할 수 있습니다.
3. 터미널(Windows는 명령 프롬프트)에서 pip install -U openai-whisper를 실행합니다.
4. whisper 파일이름.mp3 --model turbo --language Korean으로 받아쓰기를 시작합니다.

NVIDIA GPU가 있는 컴퓨터라면 빠르게 처리됩니다. GPU가 없으면 CPU로 돌아가며, 큰 모델은 오디오 길이보다 훨씬 오래 걸릴 수 있습니다. 이럴 때는 small 같은 작은 모델을 고르거나, 아래에 소개하는 Faster-Whisper나 whisper.cpp를 쓰면 훨씬 빨라집니다.

방법 3: OpenAI API로 위스퍼 쓰기

앱이나 사내 시스템에 받아쓰기를 넣고 싶다면 OpenAI API를 씁니다. 2026년 10월 기준 whisper-1 모델 요금은 오디오 1분당 0.006달러이고, 한 번에 올릴 수 있는 파일은 25MB까지입니다. GPU를 준비할 필요가 없고 처리도 빠릅니다. 긴 녹음은 25MB 이하로 나누거나 비트레이트를 낮춘 MP3로 바꿔서 보냅니다.

위스퍼 모델 고르는 법

Whisper에는 크기가 다른 여러 모델이 있으며, 클수록 정확하고 느립니다. 공식 저장소에 나온 기준은 다음과 같습니다.

한국어 받아쓰기라면 정확도와 속도의 균형이 좋은 turbo부터 써 보는 것을 권합니다. GPU 메모리가 부족하면 small, 정확도가 최우선이라면 large를 고릅니다.

위스퍼 한국어 정확도와 알아 둘 점

마이크 가까이에서 또렷하게 말한 한국어 녹음이라면 Whisper 결과를 거의 그대로 읽을 수 있는 경우가 많습니다. 써 보면 다음과 같은 특징도 보입니다.

• 무음이나 소음 구간에서 같은 문장을 반복: 배경음악만 나오는 부분이나 긴 침묵에서, 실제로 말하지 않은 문장이 나오는 경우가 있습니다(환각 현상).
• 문장 부호와 줄바꿈이 적음: 긴 발언이 한 단락으로 이어지는 경우가 많아 읽기 좋게 다듬는 작업이 필요합니다.
• 화자 구분은 별도 도구로: Whisper 단독으로는 누가 말했는지 나누는 기능이 따로 있지 않습니다. 회의나 인터뷰에서 화자를 나누려면 WhisperX 같은 확장 도구를 함께 씁니다.

정확도를 높이려면 --language Korean으로 언어를 지정하고, 소음이 적은 녹음을 쓰고, 큰 모델을 고르는 것이 효과적입니다.

위스퍼를 더 편하게 쓰는 오픈소스 도구

Whisper를 기반으로 만든 오픈소스 프로젝트도 많습니다. 목적에 맞게 고르면 설치와 처리 시간이 크게 줄어듭니다.

AI-Video-Transcriber는 sipsip 창업자가 만든 프로젝트로, GitHub 스타가 3,300개를 넘었습니다. ./install.sh와 python3 start.py를 실행하면 브라우저에서 바로 쓰는 웹 화면이 열리고, 자막이 있는 영상은 자막을 먼저 가져오고 자막이 없으면 Faster-Whisper로 받아씁니다. Docker 이미지도 제공합니다. M2 맥북 프로(16GB)에서 whisper.cpp large-v2 모델로 30분 오디오를 약 4분 만에 처리한 사례처럼, 도구에 따라 체감 속도가 크게 달라집니다.

설치 없이 위스퍼처럼 받아쓰기하려면

Python이나 코랩 설정이 번거롭거나, 화자가 나뉜 읽기 좋은 텍스트가 필요하다면 브라우저에서 쓰는 AI 받아쓰기 도구가 간편합니다. sipsip.ai의 음성 텍스트 변환은 음성 인식 모델 Deepgram nova-3를 사용하며, 파일을 올리기만 하면 받아쓰기가 끝납니다.

• 설치가 필요 없고, 컴퓨터와 스마트폰 브라우저에서 바로 씁니다.
• 한국어를 포함한 30개 이상의 언어를 지원하고 언어를 자동으로 인식합니다.
• 여러 사람의 대화는 '화자 1', '화자 2'처럼 발언별로 나뉩니다.
• 계정 없이 시작할 수 있고, 카드 등록 없는 무료 계정으로 로그인하면 계속 쓸 수 있습니다.

동영상 파일은 영상 텍스트 추출에, MP3 파일은 MP3 텍스트 변환에 바로 올리면 됩니다. 유튜브 영상이라면 유튜브 자막 추출로 링크만 붙여 넣어 텍스트를 받을 수 있습니다.

정리

위스퍼 AI는 무료로 먼저 시험해 보려면 구글 코랩, 보안이 중요한 녹음이라면 내 컴퓨터 설치, 시스템에 넣으려면 API가 잘 맞습니다. 한국어는 turbo 모델에 --language Korean을 지정하는 것부터 시작해 보세요. 설정에 시간을 들이지 않고 바로 텍스트가 필요할 때는 브라우저 받아쓰기 도구를 함께 쓰면 됩니다.

자주 묻는 질문