Japanese Transcription Accuracy Evaluation

4.33%

Word Error Rate

On a real 254-word speech sample. Below 10% is considered good and below 5–6% is top-tier for professional use.

95.25%

Word Information Preserved

The transcript kept over 95% of the original information, with only 4.75% lost.

<1.5s

Real-Time Latency

In the live test, captions appeared with less than 1.5 seconds of lag, suitable for presentations, classrooms and conferences.

Why Japanese Is Hard for ASR

Complex writing system: Kanji, Hiragana and Katakana are mixed in one sentence.
No word delimiters: the engine must segment sentences into words itself.
Homophones: for example, きかい can mean 機械 (machine), 機会 (opportunity) or 奇怪 (strange).
Kanji variants: 温かい and 暖かい both mean “warm” with subtle differences in nuance.
Fillers and colloquial speech: あのー and えっと must be handled correctly.

Evaluation Methodology

Both tests used the Multilingual speech model, which can switch languages in real time and is not our most accurate model for a single language.

Test 1 (October 2025, app v2.15): a clear public-speaking sample transcribed by Conference Captioning and compared with a hand-made reference transcript.
Test 2 (app v2.13.0, MacBook Pro M4): a two-minute Japanese speech written for high school students, converted to audio with Google Translate’s text-to-speech, and transcribed live with no pre-uploaded data.
Metrics: Word Error Rate (WER) = (substitutions + deletions + insertions) / words in the reference, and Word Information Preserved (WIP).

Live ASR

Japanese Speech

Word Error Rate

Reproducible

Test 1: Real Speech Sample

Error Tally

Type	Count	Examples
Substitutions (S)	5	温かい→暖かい, 5年→お念, 風→ふう, ピタッと→来たとこ, 未来→見らえ
Deletions (D)	4	が, です, ね, に
Insertions (I)	2	あのー, でも
Words in reference (N)	254

WER = (5 + 4 + 2) / 254 = 11 / 254 ≈ 4.33%

What the Errors Show

Few semantic errors: 温かい→暖かい and 風→ふう are understandable and often acceptable in informal text. The larger misses were rare phonetic slips.
Verbatim accuracy: fillers such as あのー were captured, which matters for legal and research transcripts.
Natural speech: というのは was written as the more conversational ってのは, showing the model follows spoken Japanese, not just formal writing.

Reference (Ground Truth)

皆さんの温かい空気で本当に気持ちがいいですね5年ぶりのサミットですけれども毎回こうやって集まると本当に国籍や宗教や肌の色やすべてを超えて家族だなという風にねいつも思わせてもらえる最高の世界です私はですね台湾に35年ぶりに来ました当時は20代で非常に若く思いだけはあって志と情熱を持って本当に生きていきたいなというふうに思いながら日々を過ごしていましたところがですねやはり当時振り返ると自分の理想と現実は全く違ってましたねでも今35年経って台湾に来ましたけれども今は自分の理想と現実がピタッと一つになっています本当に人生というのは知り上がりに良くなっていくんだなということを最近強く思いますでもそれはやはりしっかりと努力は当たり前ですけれどもいつも未来に対して思いを持って準備をしてきたなというふうに思います20代の時には30代をどう生きるかということを考えて生きてそして30代になれば40代どう生きるかということを生きて今60代ですけども本当にこれからの未来をどのように生きていくかということを

Conference Captioning Output

皆さんの暖かい空気で本当に気持ちいいですねあのーお念ぶりのサミットですけれども、毎回こうやって、集まると本当に、国籍や宗教や肌の色や全てを越えて家族だなというふうにねいつも思わせてもらえる最高の世界です。私は台湾に35年ぶりに来ました。当時は20代で非常に若く思いだけはあって心差しと情熱を持って本当に生きていきたいなというふうに思いながら日々を過ごしていました。ところがですねやはり当時振り返ると自分の理想と現実は全く違ってましたね。でも今35年経って、対話に来ましたけれども今は自分の理想と現実が来たとこ一つになっています。本当に人生ってのは知り上がりによくなっていくんだなということを最近強く思いますそれはやはりしっかりと努力は当たり前ですけれども、いつも見らえに対して思いを持って準備をしてきたなというふうに思います20代の時には30代をどう生きるかということを考えて生きて、そして30代になれば40代どう生きるかということを生きて今60代ですけどもあの本当にこれからの未来をどのように生きていくかということを考えて。

Test 2: Real-Time Text-to-Speech Test

95.8%

Overall Accuracy

About a 4.2% word error rate over roughly two minutes of speech, transcribed in real time.

Sample Differences

Reference	Output	Type
未来を片づくります	未来を形作ります	Substitution
上熱を持って	情熱をもって	Substitution
ら心盤	羅針盤	Substitution
お忘れないこと	忘れないこと	Deletion
ありがとうございました	ありがとうございまし	Truncation

The reference text itself contained the odd wording shown on the left, so several “errors” are the model correcting it. None affected meaning.

Original Speech Text

さんおはようございます。今日は一つ覚えてほしいことがあります。それは情熱のある努力は必ず人生を変えるということです。勉強は時に退屈で、難しくて、なぜやっているのかわからなくなる時もあるでしょう。でも、どんなに小さな努力でも毎日の積み重ねが未来を片づくります。今日の1時間が、明日の自分を作ります。失敗してもいい間違えてもいい大切なのはなぜやるのか、お忘れないことです。自分の心が燃えるものを見つけてくださいこれが好きだこれをやりたいと思えるものに出会えたらそれはあなたの人生のら心盤になりますそしてその情熱を持って努力を続ければ必ず道は開けます。どんなに小さな一歩でも上熱を持って踏み出せばそれは誰にも真似できないあなた自身の道になります。だから今日も胸を張って前に進みましょう。未来はあなたの努力と情熱で輝くのです。ありがとうございました。

Conference Captioning Output

さん、おはようございます。今日は一つ、覚えてほしいことがあります。それは――「情熱のある努力は、必ず人生を変える」ということです。勉強は時に退屈で、難しくて、なぜやっているのかわからなくなる時もあるでしょう。でも、どんなに小さな努力でも、毎日の積み重ねが未来を形作ります。今日の一時間が、明日の自分を作ります。失敗してもいい。間違えてもいい。大切なのは「なぜやるのか」を忘れないことです。自分の心が燃えるものを見つけてください。「これが好きだ」「これをやりたい」と思えるものに出会えたら、それはあなたの人生の羅針盤になります。そして、その情熱を持って努力を続ければ、必ず道は開けます。どんなに小さな一歩でも、情熱をもって踏み出せば、それは誰にも真似できない、あなた自身の道になります。だから今日も、胸を張って前に進みましょう。未来は、あなたの努力と情熱で輝くのです。ありがとうございまし

You can reproduce this test: the speech was generated with ChatGPT using the prompt “Give me a 2 minute inspirational speech written in Japanese for high school students to motivate them to study hard and be passionate about what they do”, played with the Listen feature in Google Translate, and fed into the app.

Key Findings

Both tests came in at roughly 95% accuracy or better (4.33% and about 4.2% word error rate).
Errors were mostly small substitutions or missing characters, not changes in meaning.
Captions were effectively instant, under 1.5 seconds of lag.
This used the Multilingual model, which switches languages in real time, so a dedicated single-language model has room to be even more accurate.

FAQ

How accurate is Conference Captioning for Japanese?

Our tests measured a 4.33% word error rate (95.25% information preserved) on real speech and about 95.8% accuracy in a live real-time test.

Does it work in real time?

Yes. Captions appeared with less than 1.5 seconds of lag, with no pre-uploaded audio.

Can Japanese speech be translated for other attendees?

Yes. A speaker can talk in Japanese and attendees can read live captions or translations in their own language.

Japanese Speech-to-Text Accuracy: 4.33% Word Error Rate

Word Error Rate

Word Information Preserved

Real-Time Latency

Why Japanese Is Hard for ASR

Evaluation Methodology

Test 1: Real Speech Sample

Error Tally

What the Errors Show

Reference (Ground Truth)

Conference Captioning Output

Test 2: Real-Time Text-to-Speech Test

Overall Accuracy

Sample Differences

Original Speech Text

Conference Captioning Output

Key Findings

FAQ

How accurate is Conference Captioning for Japanese?

Does it work in real time?

Can Japanese speech be translated for other attendees?

Related Evaluations