metadata

license: apache-2.0
datasets:
  - REILX/chinese-meme-description-dataset
  - SWHL/ChineseOCRBench
  - priyank-m/chinese_text_recognition
  - fly0331/ChineseTest
  - liuhaotian/LLaVA-Pretrain
  - Lin-Chen/ShareGPT4V
  - REILX/Chinese-Image-Text-Corpus-dataset
language:
  - zh
pipeline_tag: image-text-to-text
tags:
  - llava
  - qwen2
  - CLIP
  - zh

llava-Qwen2-7B-Instruct-Chinese-CLIP-v3

模型简介

本模型扩大了中文图文训练数据集,并改用 OFA-Sys/chinese-clip-vit-huge-patch14,增强了中文文字识别能力和图像识别能力。

1. 模型结构

llava-Qwen2-7B-Instruct-Chinese-CLIP-v3 = Qwen/Qwen2-7B-Instruct + multi_modal_projector + OFA-Sys/chinese-clip-vit-huge-patch14

2. 微调训练过程

模型分三阶段训练,每次都对以下两模块进行微调：

vision_tower 和 language_model 的 q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj 模块进行 lora 训练
mmp 层全量训练

阶段1:

数据集: REILX/chinese-meme-description-dataset、SWHL/ChineseOCRBench、priyank-m/chinese_text_recognition、fly0331/ChineseTest、liuhaotian/LLaVA-Pretrain、Lin-Chen/ShareGPT4V
微调参数:
- lora_r=32, lora_alpha=64, num_train_epochs=2, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=1e-3, low_lr=2e-5, model_max_length=2048
训练时长: 84小时02分钟

阶段2:

数据集: REILX/Chinese-Image-Text-Corpus-dataset
微调参数:
- lora_r=32, lora_alpha=64, num_train_epochs=3, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=5e-4, low_lr=1e-5, model_max_length=2048
训练时长: 36小时56分钟

阶段3:

数据集: REILX/chinese-meme-description-dataset 中的 ChineseBQB-Claude-3-5-sonnet-20240620.jsonl 和 emo-visual-data-Claude-3-5-sonnet-20240620.jsonl，仅使用质量最高的 Claude-3-5-sonnet-20240620 模型输出进行最后的微调
微调参数:
- lora_r=32, lora_alpha=64, num_train_epochs=3, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=5e-4, low_lr=1e-5, model_max_length=2048
训练时长: 1小时04分钟

3阶段共耗时: 122小时

3. 数据集

REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP

图像总大小: 1.8G
图片数量: 约10,835张中文表情包图片
文字总量: 41.6Mb
图像文本对: 约24,332个描述信息

REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP-v2

阶段1:

图像总大小: 4.45G
图片数量: 约520,492张
文字总量: 249.93Mb
图像文本对: 约533,989个描述信息

阶段2:

图像总大小: 1.8G
图片数量: 约10,835张中文表情包图片
文字总量: 57.34Mb
图像文本对: 约33,762个描述信息

REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP-v3

阶段1:

图像总大小: 41G
图片数量: 约1,056,501张
文字总量: 487.82Mb
图像文本对: 约1,112,369个描述信息

阶段2:

图像总大小: 1.5G
图片数量: 约325,503张
文字总量: 107.79Mb
图像文本对: 约325,503个描述信息

阶段3:

图像总大小: 1.8G
图片数量: 约10,835张
文字总量: 15.28Mb
图像文本对: 约9,430个描述信息