app.py

import gradio as gr
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from openai import OpenAI
from translate_utils import translate_ko_to_en
import os
YOUR_OPENAI_API_KEY = os.getenv("YOUR_OPENAI_API_KEY")

# 임베딩 모델 로드
embedding_model_name = "snunlp/KR-SBERT-V40K-klueNLI-augSTS"
embedding_model = HuggingFaceEmbeddings(
    model_name=embedding_model_name,
    model_kwargs={"device": "cpu"},  # GPU 사용 시 "cuda"로 변경
    encode_kwargs={"normalize_embeddings": True},
)

# vector DB 로드
save_path = "./version-2024-12-31"
vectorstore = FAISS.load_local(save_path, embedding_model, allow_dangerous_deserialization=True)

def chatbot(input_question, eng_trans=True, num_ref=3):
    """챗봇 함수"""
    try:
        retriever = vectorstore.as_retriever(search_kwargs={"k": num_ref})
    
        # 한국어로 질의
        if not eng_trans:
            basic_docs = retriever.invoke(input_question)
        # 영어로 번역 후 질의(영어, 한글 둘 다 검색)
        else:
            eng = translate_ko_to_en(input_question)
            basic_docs = retriever.invoke(input_question)
            eng_docs = retriever.invoke(eng)
            basic_docs = basic_docs + eng_docs
    
        context = "\n".join([doc.page_content for doc in basic_docs])
    
        client = OpenAI(api_key=YOUR_OPENAI_API_KEY)
    
        # GPT-4 or GPT-4o-mini 등 모델 지정
        completion = client.chat.completions.create(
            model="gpt-4o-mini-2024-07-18",
            messages=[
                {
                    "role": "user",
                    "content": f"""당신은 반도체와 차세대반도체학과에 대해서 설명하는 Assistant입니다.
        차세대반도체학과는 서울의 중앙대학교 창의ICT공과대학에 설립된 학과입니다. 학과장 및 단장은 송상헌 교수이며 현재 서포터즈 3기 팀장은 정규단 학생입니다.
        이 학과는 서울대학교, 중앙대학교, 포항공과대학교, 숭실대학교, 강원대학교, 대구대학교, 조선이공대학교가 학점교류를 통해 수강할 수 있는 학과입니다.
        다음 맥락에 맞게 질문에 한글로 답하세요. 답을 모르겠다면 semicon@cau.ac.kr 또는 02-881-7301 로 문의하라고 하세요.
    
        맥락: {context}
    
        질문: {input_question}
        """
                }
            ]
        )
    
        return completion.choices[0].message.content
    except openai.error.RateLimitError:
        return 'API 사용 비용을 초과하여 에러가 났습니다. 관리자에게 문의하십시오.'
    except Exception as e:
        return f'오류 발생: {str(e)}'
# Gradio Blocks 레이아웃으로 꾸민 버전
with gr.Blocks() as demo:
    # 상단 이미지
    gr.Image(
        value="head.png",  # 이미지 경로 또는 URL
        elem_id="top-image",
        label=None
    )
    
    # 안내 문구
    gr.Markdown(
        """
        # 차세대반도체학과 특화 에이전트
        - 이 챗봇은 한국어 질의에 대해 반도체 관련 정보, 차세대반도체학과 관련 정보를 친절하게 제공합니다.<br>
        - 반도체 전문용어는 일부 영어로 답변될 수 있습니다.<br>
        ### 영어 번역 사용 여부 기능
        - 영어 번역 사용 여부를 키면, 정확도가 상승될 수 있으나, 추론 시간이 길어질 수 있습니다. <br>
        ### 검색 문서 개수 변경 기능
        - 검색할 문서 개수를 늘리면 정확도가 상승될 수 있으나, 추론 시간이 길어질 수 있습니다. <br>
        #### 질문에 대해서 한번 답할 때마다 제작자에게 비용이 청구되니 과한 사용은 삼가주시기 바랍니다.
        - 답변 부분에 오류가 뜨면 API 사용 크레딧(금액)을 모두 사용했다는 뜻입니다. 심사의 경우, wjdrbeks1021@cau.ac.kr 로 현금을 충전하라고 메일 부탁드립니다. 
        #### 예시질문
        - 송상헌 교수님이 누구야?
        - 차세대반도체학과 이우주 교수님은 어떤 강의를 하시지?
        - nMOS의 구동 조건이 뭐야?
        """,
        elem_id="description"
    )

    # 메인 UI
    with gr.Group():
        with gr.Row():
            # 입력 파트
            with gr.Column():
                input_question = gr.Textbox(
                    label="질문 입력",
                    placeholder="반도체와 차세대반도체학과에 대해 궁금한 점을 입력하세요."
                )
                eng_trans = gr.Checkbox(
                    label="영어 번역 사용 여부",
                    value=False
                )
                num_ref = gr.Slider(
                    minimum=1, 
                    maximum=5, 
                    value=3, 
                    step=1, 
                    label="검색할 문서 개수"
                )
                submit_btn = gr.Button("질문하기")

            # 출력 파트
            with gr.Column():
                output_answer = gr.Textbox(
                    label="답변",
                    placeholder="답변이 여기에 표시됩니다...",
                    lines=10
                )

        # 버튼과 함수 연결
        submit_btn.click(
            fn=chatbot, 
            inputs=[input_question, eng_trans, num_ref], 
            outputs=output_answer
        )

demo.launch()