Dooroo_2508: 여수 관광 특화 챗봇 모델

이 모델은 unsloth/Qwen3-4B-Instruct-2507 모델을 기반으로, 대한민국 여수시의 관광 정보와 섬 정보에 대해 특화된 지식을 갖도록 파인튜닝되었습니다.

Unsloth 라이브러리를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 효율적인 학습을 진행했으며, 여수 여행에 관한 질문에 자연스럽고 정확한 답변을 생성하는 것을 목표로 합니다.

🛠️ 학습 과정 (Training Procedure)

1. 기반 모델 (Base Model)

• Model: unsloth/Qwen3-4B-Instruct-2507
• Library: Unsloth를 사용하여 메모리 사용량을 최적화하고 학습 속도를 크게 향상시켰습니다.

2. 데이터셋 (Dataset)

학습에는 아래 두 가지 데이터셋을 병합하여 사용했습니다. 각 데이터셋의 train과 test 스플릿을 합친 후, train 데이터셋은 무작위로 섞어 모델이 특정 주제에 편향되지 않도록 했습니다.

• kingkim/yeosu_tour: 여수 관광 명소 관련 데이터
• kingkim/yeosu_island: 여수 섬 관련 데이터

3. 하이퍼파라미터 (Hyperparameters)

모델 학습에 사용된 주요 하이퍼파라미터는 다음과 같습니다.

LoRA 설정

파라미터	값	설명
r	16	LoRA 행렬의 랭크 (rank)
lora_alpha	32	LoRA 스케일링 인자
lora_dropout	0.05	LoRA 레이어의 드롭아웃 비율
target_modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj	LoRA를 적용할 대상 모듈

Training Arguments

파라미터	값	설명
num_train_epochs	15	총 학습 에포크 수
learning_rate	4e-6	학습률
per_device_train_batch_size	32	디바이스당 학습 배치 크기
gradient_accumulation_steps	2	그래디언트 누적 스텝
optimizer	adamw_8bit	8비트 AdamW 옵티마이저
lr_scheduler_type	linear	선형 학습률 스케줄러

📊 평가 결과 (Evaluation Results)

eval_dataset에 대한 최종 평가 결과입니다. Loss는 모델이 예측한 값과 실제 값의 차이를 나타내며, 낮을수록 모델의 성능이 좋음을 의미합니다.

메트릭 (Metric)	값 (Value)
eval_loss	1.5407
eval_runtime	30.8676 초
eval_samples_per_second	68.551
eval_steps_per_second	8.585
epoch	15.0

---

license: apache-2.0 tags:

• unsloth
• trl
• sft