Update app.py

app.py

@@ -1,43 +1,114 @@
 import gradio as gr
-import whisper
+from transformers import pipeline
+import torch
+import librosa
+import numpy as np
+from moviepy.editor import VideoFileClip, AudioFileClip, TextClip, CompositeVideoClip, ColorClip
+import tempfile
+import os
 from pydub import AudioSegment
-from pathlib import Path
+import arabic_reshaper
+from bidi.algorithm import get_display
 
-# تحميل نموذج Whisper (يمكنك اختيار 'base' أو 'small' أو 'medium' أو 'large')
-model = whisper.load_model("base")
+# تهيئة نموذج التعرف على الكلام متعدد اللغات
+transcriber = pipeline("automatic-speech-recognition", 
+                      model="facebook/wav2vec2-large-xlsr-53-arabic")
 
 def convert_audio_to_wav(audio_path):
     """تحويل الملف الصوتي إلى صيغة WAV إذا لم يكن كذلك"""
-    audio_path = Path(audio_path)
-    if audio_path.suffix.lower() != '.wav':
-        wav_path = audio_path.with_suffix('.wav')
-        audio = AudioSegment.from_file(str(audio_path))
-        audio.export(str(wav_path), format='wav')
-        return str(wav_path)
-    return str(audio_path)
+    if audio_path.endswith('.mp3'):
+        audio = AudioSegment.from_mp3(audio_path)
+        wav_path = audio_path.rsplit('.', 1)[0] + '.wav'
+        audio.export(wav_path, format='wav')
+        return wav_path
+    return audio_path
 
-def process_audio(audio_file):
-    """معالجة الملف الصوتي واستخراج النص"""
+def format_arabic_text(text):
+    """معالجة النص العربي للعرض الصحيح"""
+    reshaped_text = arabic_reshaper.reshape(text)
+    bidi_text = get_display(reshaped_text)
+    return bidi_text
+
+def create_text_video(audio_path):
     try:
-        # تحويل الملف الصوتي إلى النص باستخدام Whisper
-        wav_path = convert_audio_to_wav(audio_file)  # استخدم المسار مباشرة
-        result = model.transcribe(wav_path)
+        # تحويل الملف الصوتي إلى WAV إذا كان بصيغة MP3
+        wav_path = convert_audio_to_wav(audio_path)
+        
+        # قراءة الملف الصوتي
+        audio, sr = librosa.load(wav_path, sr=16000)
+        
+        # استخراج النص من الصوت
+        result = transcriber({"sampling_rate": sr, "raw": audio})
         transcription = result["text"]
         
-        return transcription
+        # معالجة النص العربي
+        formatted_text = format_arabic_text(transcription)
+        
+        # إنشاء مقطع الصوت
+        audio_clip = AudioFileClip(wav_path)
+        duration = audio_clip.duration
+        
+        # إنشاء مقطع النص
+        txt_clip = TextClip(
+            formatted_text,
+            fontsize=30,
+            color='white',
+            bg_color='black',
+            size=(720, 480),
+            method='caption',
+            font='Arial'  # يمكن استخدام خط يدعم العربية
+        ).set_duration(duration)
+        
+        # إنشاء خلفية سوداء
+        background = ColorClip(size=(720, 480), color=(0, 0, 0)).set_duration(duration)
+        
+        # دمج المقاطع
+        video = CompositeVideoClip([background, txt_clip.set_position('center')])
+        video = video.set_audio(audio_clip)
+        
+        # إنشاء ملف مؤقت للفيديو
+        temp_output = tempfile.NamedTemporaryFile(delete=False, suffix='.mp4')
+        video_path = temp_output.name
+        
+        # كتابة ملف الفيديو
+        video.write_videofile(video_path, fps=24, codec='libx264', 
+                            audio_codec='aac')
+        
+        # تنظيف الملفات المؤقتة
+        if wav_path != audio_path:
+            os.remove(wav_path)
+            
+        return video_path, transcription
+        
+    except Exception as e:
+        raise gr.Error(f"حدث خطأ أثناء المعالجة: {str(e)}")
+
+def process_audio(audio_file):
+    """معالجة الملف الصوتي في واجهة Gradio"""
+    if audio_file is None:
+        raise gr.Error("الرجاء تحميل ملف صوتي")
+        
+    try:
+        video_path, transcription = create_text_video(audio_file)
+        return video_path, transcription
     except Exception as e:
-        return f"حدث خطأ أثناء المعالجة: {str(e)}"
+        raise gr.Error(f"حدث خطأ أثناء المعالجة: {str(e)}")
 
 # إنشاء واجهة Gradio
 iface = gr.Interface(
     fn=process_audio,
-    inputs=[gr.Audio(type="filepath", label="قم بتحميل ملف صوتي (MP3 أو WAV)")],
-    outputs=[gr.Textbox(label="النص المستخرج")],
-    title="محول الصوت إلى نص",
-    description="قم بتحميل ملف صوتي لاستخراج النص من الصوت. يدعم اللغتين العربية والإنجليزية.",
+    inputs=[
+        gr.Audio(type="filepath", label="قم بتحميل ملف صوتي (MP3 أو WAV)")
+    ],
+    outputs=[
+        gr.Video(label="الفيديو المُنشأ"),
+        gr.Textbox(label="النص المستخرج")
+    ],
+    title="محول الصوت إلى فيديو مع النص",
+    description="قم بتحميل ملف صوتي لإنشاء فيديو مع النص المستخرج متزامناً",
     examples=[],
     cache_examples=False
 )
 
 if __name__ == "__main__":
-    iface.launch()
+    iface.launch()