from transformers import pipeline # Para el procesamiento del lenguaje import numpy as np # Porque la transcripción de audio a texto se hace mediante arrays import gradio as gr # Para la interfaz # Si disponemos de una GPU con el parámetro device=0 le estamos diciendo que la use pipe = pipeline( "automatic-speech-recognition", model="openai/whisper-medium", device=-1 ) def transcribe(stream, nuevo_fragmento): # Recibe 2 parámetros "stream" un historial de todo lo anteriormente dicho y "nuevo_framento" las últimas palabras registradas sr, y = nuevo_fragmento # Ahora se obtiene el sample rate y el array con el audio de nuevo_fragmento # Pasamos el array de muestras a tipo NumPy de 32 bits porque el método pipeline espera que le pasemos un array y = y.astype(np.float32) y /= np.max(np.abs(y)) # Normalizamos el audio para evitar problemas de distorsión o saturación. Para ello encontramos el valor máximo del array "y" y dividimos todos los valores de "y" por ese valor para que estén en un rago entre -1 y 1 if stream is not None: # Si stream no es vacio se concatenamos lo que ya contiene stream con elnuevo audio stream = np.concatenate([stream, y]) else: # Si stream si que esta vació y estamos ante el primer caso de uso igualamos stream directamente a lo que contenga y que es el nuevo fragmento stream = y return stream, pipe({"sampling_rate": sr, "raw": stream})["text"] # Devolvemos el stream actualizado con el texto trancrito demo = gr.Interface( transcribe, # ["state", gr.Audio.stream(sources=["microphone"], streaming=True)], # como parámetros de entrada ahora debemos manejar el estado para mantener el stream actualizado y la entrada de audio desde el microphone con stream=True ["state", gr.Audio(sources=["microphone"], streaming=True)], # como parámetros de entrada ahora debemos manejar el estado para mantener el stream actualizado y la entrada de audio desde el microphone con stream=True ["state", "text"], live=True, # Permitimos la actualización en tiempo real ) demo.launch()