음성 인식은 사람이 말한 소리를 AI가 분석해 텍스트로 바꾸는 기술입니다. 스마트폰 키보드의 마이크 버튼으로 문자를 입력하는 것도, 회의 녹음을 텍스트로 받아 회의록을 만드는 것도, 유튜브 영상에 자동 자막이 붙는 것도 모두 음성 인식 덕분입니다.
음성 인식 정확도는 보통 **단어 오류율(WER, Word Error Rate)**로 측정합니다. 전체 단어 중 잘못 인식한 단어의 비율입니다. 2026년 기준 주요 모델은 깨끗한 녹음에서 WER 5% 미만을 기록하지만, 실제 녹음 환경에 따라 결과는 3~4배까지 차이가 납니다. 이 글에서는 음성 인식의 원리와 정확도를 좌우하는 요인, 용도별로 음성 인식 프로그램을 고르는 방법을 정리합니다.
'음성 인식'이라 불리는 두 가지 용도
음성 인식은 크게 두 가지 방식으로 쓰이며, 내부 작동 방식도 다릅니다.
1. 실시간 음성 입력: 말하는 즉시 글자가 나타납니다. 갤럭시와 아이폰 키보드의 음성 입력, AI 비서, 구글 문서 음성 입력이 여기에 속합니다. 짧은 소리 단위로 바로 처리해 1초 안에 결과를 보여 주는 속도에 맞춰져 있습니다.
2. 녹음 파일 받아쓰기: 이미 녹음된 파일 전체를 텍스트로 바꿉니다. 인터뷰, 회의, 강의, 팟캐스트에 쓰입니다. 모델이 녹음 전체의 맥락을 보고 결과를 만들기 때문에 정확도가 더 높습니다.
sipsip.ai가 집중하는 쪽은 두 번째, 이미 녹음한 오디오와 동영상 파일을 텍스트로 바꾸는 일입니다. 실시간 속도보다 정확도가 중요한 작업입니다.
음성 인식 원리: AI는 소리를 어떻게 글자로 바꿀까
현재 음성 인식 AI는 대형 언어 모델과 같은 트랜스포머(Transformer) 구조를 소리에 적용해 만들어졌습니다. 처리 과정은 네 단계입니다.
- 오디오 전처리: 소리 파형을 멜 스펙트로그램으로 바꿉니다. 가로축은 시간, 세로축은 주파수, 밝기는 그 순간 그 주파수의 에너지를 뜻하는 2차원 이미지로, 모델은 이것을 '봅니다'.
- 인코더: 스펙트로그램을 분석해 음소, 억양, 리듬, 앞뒤 맥락을 담은 내부 표현을 만듭니다.
- 디코더: 인코더의 결과와 지금까지 만든 텍스트를 함께 보며 단어를 하나씩 생성합니다. 이 방식 덕분에 긴 문장에서도 맥락을 유지합니다.
- 후처리: 문장 부호, 띄어쓰기, 서식을 다듬어 읽기 좋은 텍스트로 만듭니다.
정확도가 크게 높아진 결정적인 이유는 대규모 학습 데이터입니다. OpenAI의 Whisper는 68만 시간 분량의 다국어 음성으로 학습했고, 그 덕분에 다양한 억양과 언어, 녹음 환경에 강합니다.
대표 음성 인식 모델: Whisper와 Deepgram
OpenAI Whisper (오픈소스)
- 68만 시간 다국어 데이터로 학습, 99개 언어 지원
- tiny부터 large-v3까지 다섯 가지 크기
- 다국어와 억양이 섞인 영어, 전문 용어에 강함
- 실제 서비스 속도로 쓰려면 GPU가 필요
- 표준 벤치마크 WER 약 3~5% (large-v3)
Deepgram Nova-2 (상용 API)
- 빠른 처리와 실시간 스트리밍에 맞춘 모델
- 여러 화자를 나누는 화자 분리가 Whisper보다 뛰어남
- Deepgram 벤치마크 기준 전문 녹음에서 WER 10% 미만
- 후속 모델인 Deepgram nova-3를 sipsip.ai가 오디오·동영상 받아쓰기에 사용
어느 한쪽이 항상 더 좋은 것은 아닙니다. 다국어와 억양에는 Whisper, 실시간 처리와 여러 사람이 말하는 녹음에는 Deepgram이 유리합니다. Whisper를 직접 써 보고 싶다면 위스퍼 AI 사용법에 설치와 활용 방법을 정리해 두었습니다.
녹음 환경별 음성 인식 정확도
같은 모델이라도 녹음 조건에 따라 결과가 크게 달라집니다. 아래는 sipsip.ai에서 처리한 오디오의 평균값으로, 녹음마다 차이가 있는 대략적인 수치입니다.
| 녹음 종류 | Whisper large-v3 WER | Deepgram Nova-2 WER | 메모 |
|---|---|---|---|
| 스튜디오·조용한 방, 1인 | 3~5% | 4~7% | 사람에 가까운 정확도 |
| 마이크를 단 인터뷰 | 5~8% | 5~8% | 수정할 부분이 적음 |
| 현장 녹음, 주변 소음 | 10~18% | 12~20% | 소음 제거가 도움 |
| 전화·인터넷 통화 녹음 | 12~22% | 8~15% | Nova-2가 통화 음질에 강함 |
| 여러 명이 참여한 회의 | 15~25% | 8~15% | Nova-2의 화자 분리가 유리 |
| 억양이 강한 비원어민 영어 | 8~15% | 12~20% | Whisper의 다국어 학습이 유리 |
| 전문 분야 용어 | 8~15% | 10~18% | 분야 특화 모델이 오류를 줄임 |
음성 인식 정확도를 높이는 방법
정확도를 가장 크게 끌어올리는 것은 모델 교체보다 녹음하는 방식입니다.
- 녹음 품질이 가장 중요합니다. 조용한 방에서 50달러짜리 USB 마이크로 녹음한 소리가, 시끄러운 개방형 사무실에서 2,000달러짜리 마이크로 녹음한 소리보다 더 잘 인식됩니다.
- 16kHz 이상으로 녹음합니다. 대부분의 모델은 내부에서 16kHz로 처리합니다. 그보다 낮은 품질(전화 통화, 강하게 압축된 파일)은 결과가 눈에 띄게 나빠집니다.
- 자연스러운 속도로 말합니다. 일부러 천천히 말하거나 서두르면 오히려 오류가 늘어납니다. 평소 대화 속도가 가장 잘 인식됩니다.
- 비트레이트를 넉넉하게 저장합니다. 보관용은 WAV나 FLAC, MP3라면 128kbps 이상을 권합니다.
- 고유명사는 마지막에 확인합니다. 사람 이름, 회사명, 제품명은 AI가 비슷한 소리의 다른 단어로 적는 경우가 많아 한 번 훑어보며 고칩니다.
용도별 음성 인식 프로그램 고르는 법
녹음 파일을 텍스트로 바꿀 때
- sipsip.ai 음성 텍스트 변환: 오픈소스 AI-Video-Transcriber(GitHub 스타 3,300개 이상)를 만든 팀의 서비스입니다. MP3, MP4, WAV, M4A를 올리면 화자 구분과 타임스탬프가 있는 텍스트, AI 요약, 핵심 포인트를 받을 수 있습니다. Deepgram nova-3로 받아쓰며, 계정 없이 시작하고 카드 등록 없는 무료 계정으로 계속 쓸 수 있습니다. 동영상은 영상 텍스트 추출, 통화 녹음은 통화 녹음 텍스트 변환을 쓰면 됩니다.
- Whisper API (OpenAI): 분당 0.006달러. 출력 형식을 직접 다루고 싶은 개발자에게 맞습니다. 한 번에 25MB까지 올릴 수 있어 긴 녹음은 나눠서 보냅니다.
- AssemblyAI: 분당 0.012달러. 화자 분리, 감정 분석, 자동 챕터를 추가 기능으로 제공합니다.
실시간으로 받아 적을 때
- Deepgram Nova-2 스트리밍 API: 첫 결과까지 300ms 미만. 실시간 서비스를 만드는 개발팀의 표준 선택지로, 스트리밍 요금은 분당 0.0059달러입니다.
- Otter.ai: Google Meet, Zoom, Teams 회의 중에 실시간 텍스트를 보여 주는 서비스로, 매월 300분까지 무료입니다.
- 스마트폰 음성 입력: 갤럭시와 아이폰 키보드의 마이크 버튼으로 짧은 메모나 메시지를 바로 입력할 수 있습니다.
사람이 검수한 텍스트가 필요할 때
- Rev: AI 받아쓰기는 분당 0.02달러, 사람이 검수하는 받아쓰기는 분당 1.25달러로 99% 이상의 정확도를 제공합니다. 법률, 의료, 기록 보관용 자료에 맞습니다.
결국 중요한 것은 모델 하나가 아니라 전체 처리 과정입니다. 같은 Whisper large-v3라도 소음 제거를 먼저 했는지, 받아쓴 뒤 언어 모델로 문장을 다듬었는지, 화자 분리를 어떻게 처리했는지에 따라 WER이 3%에서 20%까지 달라집니다.
정리
음성 인식은 소리를 스펙트로그램으로 바꾸고, 트랜스포머 모델이 그 안에서 단어를 찾아내는 기술입니다. 실시간 음성 입력은 속도에, 녹음 파일 받아쓰기는 정확도에 맞춰져 있으며, 정확도를 가장 크게 좌우하는 것은 녹음 품질입니다. 회의나 강의, 인터뷰 녹음을 텍스트로 바꾸고 싶다면 파일을 올려 받아쓰기와 요약을 한 번에 받는 도구부터 써 보세요.
