두 엔진, 하나의 작업

자막 워크플로마다 필요한 절충점이 다르기 때문에 Ray는 두 가지 음성 인식 엔진을 사용합니다.

Sunray(이전 명칭 Ray Max)는 정확도에 최적화되어 있습니다. 저자원 언어, 보관 자료, 전문 자막 작업, 그리고 텍스트가 음성 오디오에 최대한 가까워야 하는 모든 상황을 위한 엔진입니다.

MoonRay(이전 명칭 Ray Turbo)는 속도에 최적화되어 있습니다. 실시간 시청, 빠른 미리보기, 사용 가능한 자막을 신속하게 확보하는 것이 중요한 대규모 일괄 작업을 위한 엔진입니다.

이 게시물의 기반이 되는 벤치마크는 모든 모델에 동일한 평가 절차를 적용해 98개 언어에서 두 엔진을 비교합니다. 목표는 Ray가 다국어를 지원한다는 막연한 주장을 하는 것이 아닙니다. 다양한 문자 체계, 억양, 어족에 걸쳐 엔진이 어떻게 작동하는지 반복 가능한 방식으로 확인하는 것이 목표입니다.

참고: 아래 차트는 엔진 브랜드 변경 전에 제작되었으므로 범례에는 여전히 이전 명칭이 표시됩니다. Ray Max는 현재 Sunray이며, Ray Turbo는 현재 MoonRay입니다.

수치를 읽는 방법

주요 지표는 단어 오류율(Word Error Rate)이며, 일반적으로 WER로 줄여 씁니다. 낮을수록 좋습니다. WER가 5%라면 전사문이 참조 텍스트와 매우 가깝다는 뜻입니다. WER가 높으면 엔진이 더 많은 대체, 삽입 또는 삭제 오류를 냈다는 의미입니다.

더 쉽게 비교할 수 있도록 같은 결과를 정확도로도 표시할 수 있습니다.

accuracy = max(0, 100 - WER)

두 번째 방식은 빠르게 훑어보기 쉽지만, 모델이 정확히 어느 부분에서 어려움을 겪는지 보여주기 때문에 WER가 엔지니어링 측면에서는 여전히 더 유용한 지표입니다.

전체 성능

전체 결과: 98개 언어 모두

성능이 우수한 언어

가장 까다로운 언어

측정 항목

• 98개 언어의 인식 품질
• Sunray와 MoonRay의 차이
• 정확도가 이미 일상적인 자막에 충분히 높은 언어
• 더 많은 훈련 데이터, 정규화 또는 언어별 처리가 필요한 언어
• 모델이 원본 오디오에 포함된 것보다 더 많은 텍스트를 삽입하는 실패 사례

자막에서 이것이 중요한 이유

자막 엔진은 영어를 얼마나 잘 처리하는지만으로 평가되지 않습니다. 실제 시청 환경은 다국어 영화, 코드 스위칭, 지역 고유명사, 잡음이 있는 녹음, 장면 중간에 언어가 바뀌는 콘텐츠 등 훨씬 복잡합니다.

Ray는 이러한 현실에 맞게 설계되었습니다. 벤치마크는 기본 설정을 선택하고, 기대 수준을 정하며, 다음 훈련 및 평가 작업의 방향을 결정하는 데 도움이 됩니다.

중요한 제품 차원의 결론은 간단합니다. Ray는 작업에 따라 속도와 정확도 중 적합한 쪽을 선택할 수 있으며, 더 많은 언어가 벤치마크 파이프라인을 거치면서 두 엔진 모두 계속 개선됩니다.