app.py

from openai import OpenAI
import openai
import base64
import requests, json
from docx import Document
from docx.shared import Cm, Inches
from PIL import Image
import gradio as gr
import tempfile
import os
import shutil

# 이미지 처리
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

#문서 생
def word(img, gpt_text,text,img_prob,voice_prob ):
    doc = Document()
    # heading은 level을 통해 조절
    doc.add_heading("딥페이크 신고 작성", level = 0)
    #doc.add_heading(f"영상 분야: {crime}", level = 1)

    # 문단 쓰기
    paragraph1 = doc.add_paragraph(f"동영상 딥페이크 확률: {img_prob}")
    if img_prob > 0.5:
        paragraph1.add_run("\n문제가 되는 영상 이미지 :")
        doc.add_picture(img,width= Cm(6), height= Cm(3))

    # 문단 내용 이어 쓰기
    paragraph2 = doc.add_paragraph(f"음성 딥페이크 확률: {voice_prob}")
    for i in range(len(voice_prob)):
        if voice_prob[i] > 0.5:
            t = text[i]
            paragraph2.add_run(f"\n문제가 되는 텍스트 내용: \n\"{t}\"")

    doc.add_heading("딥페이크 신고 내용", level = 2)
    paragraph3 = doc.add_paragraph(gpt_text)


    # 문서 저장
    file_path = "sample.docx"
    doc.save(file_path)
    return file_path




def gpt_prompt(voice_prob,img_prob, text1,crop_img,first_img):
    #프롬프트
    message=[
        # 어떻게 행동을 할지 지정하는 기능
        {"role": "system", "content": "You are an expert on deepfake criminal activity."},
        # 질문 내용
        {"role": "user", "content": f"""
        첫번째로 입력된 이미지는 영상의 첫 프레임 이미지야. 그 이미지와 텍스트를 보고 영상의 사황과 내용을 설명해줘. ex) 어떤사람(유명인, 정치인, 일반인)이 무엇을 하는지(광고, 인터뷰, 뉴스 등등) 
        두번째 이미지는 영상의 일부를 잘라온거야. 딥페이크 영상 확률: {img_prob}은 주어진 이미지에 대한 딥페이크 확률이야. 이 값이 0.5보다 크면, 두번째 이미지는 조작되었다는거야. 
        음성 딥페이크 확률: {voice_prob} / prob의 리스트 길이는 발화자의 개수야. 값이 하나면 한명의 목소리이고 말하는 순서대로 나열된거야. 그 값이 0.5보다 높으면 조작된 내용이라는 뜻이야.
        반대로 0.5보다 낮으면 조작되지 않은 진짜 내용이라는 소리야
         음성 내용: {text1} / 쉼표로 구분된 각 문장은 위의 prob의 index의 맞게 음성을 택스트로 추출한거야. 텍스트의 내용이 조작되었을 확률이 0.5를 넘기면 그 내용은 가짜 내용이야. 반대로 텍스트가 조작 되었을확률이 0.5보다 낮으면
         그 내용은 진짜 내용이야.
         쉽표를 기준으로 마지막 문장은 영상의 전체 text야.
         답변에 음성내용의 첫번째 쉽표 까지의 문장 사용해줘.

        

        주어진 이미지, 텍스트, 딥페이크 확률을 가지고 신고서 작성을 목적으로 신고서 작성 워드 파일을 만드려고 해

        1.성범죄 2.명예훼손 3. 허위영상 :금융 및 사기 (가짜 광고) 4. 정치 및 선거 개입 (가짜 뉴스, 선거).
        해당 딥페이크 영상의 text 가 어떤  범죄 행위에 해당하는지 확인하고 신고서 양식에 맞게 신고서 내용을 작성해줘.

        이미지와 음성의 딥페이크 확률 값은 어떻게 나와서 딥페이크로 의심되는지 설명하고

        어떤 범죄 행위인지, text에 문제가 있다면 어떤 내용이고 뭐가 문제인지에 대한 내용을 자세하게 설명하고 포함해야 해.

        딥페이크로 판정된 영상이 계속 사용된다면 어떤 문제가 발생 할 수 있는지도 추가해줘.

        새로운 문장 앞에는 \n을 추가하고 시작해줘.

        **는 사용하지 마.

        """},
        #이미지 입력
        {"role": "user","content": [
            {"type": "text","text": """ 첫번째로 입력된 이미지는 영상의 첫 프레임 이미지야. 그 이미지와 텍스트를 보고 영상의 사황과 내용을 설명해줘. ex) 어떤사람(유명인, 정치인, 일반인)이 무엇을 하는지(광고, 인터뷰, 뉴스 등등) 
            두번째 이미지는 영상의 일부를 잘라온거야. 딥페이크 영상 확률을 확인해서 그그 값이 0.5보다 크면, 두번째 이미지는 조작되었다는거야. """},
            {"type": "image_url","image_url": {"url": f"data:image/jpeg;base64,{first_img}"}},
            {"type": "image_url","image_url": {"url": f"data:image/jpeg;base64,{crop_img}"}}
        ]},

        # 모델이 응답할 때 사용하는 역할
        {"role": "assistant", "content": """
        너가 작성해중 내용
        신고제목 : 신고의 핵심내용
        신고내용 : 신고이유 및 허위조작콘텐츠가 드러나는 부분 명시
        증거자료 : 문제가 되는 화면의 캡처 그림파일

        각 내용당 여러 단락으로 나눠서 논리적으로 작성해줘줘.

        
        답변에 **들은 삭제해줘
        """}
        ]
    return message



def main(first_img,image, img_prob, voice_prob, voice_text):
    GPT_api_key = os.getenv("GPT_api_key")
    client = OpenAI(api_key=GPT_api_key)
    
    # Hugging Face Secrets에서 API 키 가져오기
    # openai.api_key = os.getenv("OPENAI_API_KEY")
    
    model="gpt-4o-mini"
    # if os.path.exists('/tmp/wav'):
    #     shutil.rmtree('/tmp/wav')
    # #os.listdir('/tmp/wav')
    
    first_img_path = first_img
    image_path = image
    img = Image.open(image_path)
    img.save(image_path,'JPEG')
    image_path = image
    #image.save(image_path)
    #base64_image = encode_image(image_path)
    first_img = encode_image(first_img_path)
    image = encode_image(image_path)
    img_prob = eval(img_prob)
    voice_prob = eval(voice_prob)
    voice_text = eval(voice_text)
    #프롬프트
    message = gpt_prompt(voice_prob,img_prob, voice_text,image,first_img)

    response = client.chat.completions.create(
        model=model,
        messages=message,
    )
    # response = openai.ChatCompletion.create(
    #     model=model,
    #     messages=message
    #     )
    gpt_text = response.choices[0].message.content
    #print(gpt_text)


    with tempfile.NamedTemporaryFile(suffix=".jpg", delete=False) as temp_image_file:
        temp_image_path = temp_image_file.name
        with open(temp_image_path, 'wb') as f:
            f.write(base64.b64decode(image))

    doc = word(temp_image_path, gpt_text, voice_text, img_prob,voice_prob)

    return doc, gpt_text


# Gradio 인터페이스 생성
iface = gr.Interface(
    fn=main,
    inputs=[
        gr.Image(label="첫 프레임 이미지 업로드", type="filepath"),  # 이미지 입력
        gr.Image(label="딥페이크 이미지 업로드", type="filepath"),  # 이미지 입력
        gr.Textbox(label="이미지 확률값 입력 (예: 0.74   )"),  # 이미지 확률값
        gr.Textbox(label="음성 확률값 입력 (예:  [0.90]  )"),  # 음성 확률값
        gr.Textbox(label="텍스트 입력 (예: ['문장1', '문장2']  )"),  # 텍스트 입력
    ],
    outputs=[
        gr.File(label="다운로드할 신고서 파일"),  # 신고서 파일
        gr.Textbox(label="GPT_내용")
    ],
    title="딥페이크 신고서 생성기",
)

# Gradio 인터페이스 실행
if __name__ == "__main__":
    iface.launch()