LCS Merge

[manuel3265]

I'm trying to use the LCD with 1 second chuck and 8 seconds buffer, but it doesn't work properly.

[titu1994]

Try the basic algorithm. It depends on the model and dataset, but usually you don't want to use too large difference between the chunk and buffer size, especially for RNNT.
I usually go with 1 sec chunk 4-8 second buffer, or 20 sec chunk 24 sec buffer.

[manuel3265]

I am trying with a second of chuck and 4 of buffer but the result is the same for the RNNT

[titu1994]

What do you mean "result is the same" - is it good, bad, better/worse than the middle token algo ?

[titu1994]

And for 1 second chunk, use 4-10 sec buffer.

[manuel3265]

I am testing a model in Spanish but if the results were in English, it would be something like this

English Example:

we are carrying out a second test to see if it does the transcriptions right at this moment I am going to say random things and also I am going to last a little longer in what is the recording for example I am going to say that I am sitting in a very comfortable chair apart from that I am watchingting in a very comfortable chair I'm watching TV aside I'm watching TV and I'm watching TV and I'mm waiting to see so well it's working well for me what I've just developed is workinging for me what I've just developed I can also show that I'm looking at my cell phone and I also see that I have a lot of scattered cables I also have to clean some things because they're getting dusty and I have to organize

Correct:

we are carrying out a second test to see if it does the transcriptions right at this moment I am going to say random things and also I am going to last a little longer in what is the recording for example I am going to say that I am sitting in a very comfortable chair apart from that I am watching television and I am waiting to see so well what I have just developed is working for me I can also see that I am looking at my cell phone and I also see that I have many scattered cables I also have to clean some things because they are gathering dust and I have to organize

In spanish:

estamos realizando una segunda prueba para ver si hace bien las transcripciones en este momento voy a decir cosas aleatorias y además voy a durar un poco más en lo que es la grabación por ejemplo voy a decir que estoy sentado en una silla muy cómoda aparte estoy viéndolantado en una silla muy cómoda aparte estoy viendo la televisiónda aparte estoy viendo la televisión y estoyy viendo la televisión y estoy esperando a ver tan bien bien me está funcionandon bien me está funcionando lo quelo que acabo de desarrollarnando lo que acabo de desarrollar también puedo evidenciar que estoy viendo mi celular y también veo que tengo muchos cables regados también tengo que limpiar algunas cosas porque se están llenando de polvo y tengo que organizar como hijo dijo paúla ayer dijo paúla ayer entoncesllenando de polvo y tengo que organizar

Correct:

estamos realizando una segunda prueba para ver si hace bien las transcripciones en este momento voy a decir cosas aleatorias y además voy a durar un poco más en lo que es la grabación por ejemplo voy a decir que estoy sentado en una silla muy cómoda aparte estoy viéndo la televisión y estoy esperando a ver tan bien bien me está funciona lo que acabo de desarrollar también puedo evidenciar que estoy viendo mi celular y también veo que tengo muchos cables regados también tengo que limpiar algunas cosas porque se están llenando de polvo y tengo que organizar.

my configuration is:

chunk_len_in_secs = 1
context_len_in_secs = 3

buffer_len_in_secs = chunk_len_in_secs + 2 * context_len_in_secs + 1

In summary if I put the buffer in 8 or 4, the result is the same, it is bad

[titu1994]

If you want. Chunk 1 buffer 4 sec then you need the following arguments in this call - https://github.com/NVIDIA/NeMo/blob/main/examples/asr/asr_chunked_inference/rnnt/speech_to_text_buffered_infer_rnnt.py#L28

Total buffer in seconds = 4.0
Chunk len in seconds = 1.0

What is "context length on seconds" - that argument doesn't exist for this script.

When you say the result is bad - it is repeating words. That is expected with insufficient training or incorrect hyper parameters for inference. Try your audio file with this script with the above config