app.py

from transformers import pipeline
import numpy as np
import gradio as gr

transcriber = pipeline("automatic-speech-recognition", model="openai/whisper-base", device=-1) # Para generar el texto a aprtir del audio
tts = pipeline("text-to-speech", model="suno/bark-small", device=-1) # Para generar audio a partir del texto

def transcribe(audio):
    sr, y = audio # Ahora se obtiene el sample rate y el array con el audio de nuevo_fragmento
    # Pasamos el array de muestras a tipo NumPy de 32 bits porque el método pipeline espera que le pasemos un array
    y = y.astype(np.float32)
    y /= np.max(np.abs(y)) # Normalizamos el audio para evitar problemas de distorsión o saturación. Para ello encontramos el valor máximo del array "y" y dividimos todos los valores de "y" por ese valor para que estén en un rago entre -1 y 1 

    text_generated = transcriber({"sampling_rate": sr, "raw": y})["text"] # Generamos el texto a partir del audio
    audio_generated = tts(text_generated) # Generamos el audio a partir del texto del paso anterior

    audio_returned = audio_generated["sampling_rate"],audio_generated["audio"][0]

    return [text_generated, audio_returned] # Devolvemos el texto y el audio generado


demo = gr.Interface(
    transcribe,
    inputs=gr.Audio(sources=["microphone"]),
    outputs=[
        gr.Text(label="texto generado"),
        gr.Audio(label="audio generado")
    ],
    title="De audio a Whisper y TTS",
    description="Transcribe el audio y luego sintetiza el texto en audio"
)

demo.launch()