from transformers import pipeline import numpy as np import gradio as gr transcriber = pipeline("automatic-speech-recognition", model="openai/whisper-base", device=-1) # Para generar el texto a aprtir del audio tts = pipeline("text-to-speech", model="suno/bark-small", device=-1) # Para generar audio a partir del texto def transcribe(audio): sr, y = audio # Ahora se obtiene el sample rate y el array con el audio de nuevo_fragmento # Pasamos el array de muestras a tipo NumPy de 32 bits porque el método pipeline espera que le pasemos un array y = y.astype(np.float32) y /= np.max(np.abs(y)) # Normalizamos el audio para evitar problemas de distorsión o saturación. Para ello encontramos el valor máximo del array "y" y dividimos todos los valores de "y" por ese valor para que estén en un rago entre -1 y 1 text_generated = transcriber({"sampling_rate": sr, "raw": y})["text"] # Generamos el texto a partir del audio audio_generated = tts(text_generated) # Generamos el audio a partir del texto del paso anterior audio_returned = audio_generated["sampling_rate"],audio_generated["audio"][0] return [text_generated, audio_returned] # Devolvemos el texto y el audio generado demo = gr.Interface( transcribe, inputs=gr.Audio(sources=["microphone"]), outputs=[ gr.Text(label="texto generado"), gr.Audio(label="audio generado") ], title="De audio a Whisper y TTS", description="Transcribe el audio y luego sintetiza el texto en audio" ) demo.launch()