EraX-VL-7B-V1

Introduction

We are happy to share the EraX-VL-7B-v1 model, a powerful multimodal model in OCR (optical character recognition) and VQA (vision question-answering) across multiple languages but especially in Vietnamese. One of the strengths of the EraX-VL-7B is its ability to accurately recognize medical forms of all kinds, invoices, bills of sale, quotes, and medical records, among other things, which we believe will be very convenient for Hospitals, Clinics, Insurance Companies, and other applications. EraX-VL-7B has been finetuned from the base Qwen/Qwen2-VL-7B-Instruct which we found to be of good quality and quite fluent in Vietnamese. We will continue to develop and release better versions for free use, as well as share benchmarks in the near future.

EraX-VL-7B-V1 is a young member of our EraX's LànhGPT repository of LLM models.

• Developed by: Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Dũng Hoàng and Thục Phạm and Nhật Phạm.
• Funded by: Bamboo Capital Group (https://bamboocap.com.vn) and EraX.
• Model type: Transformers' multi-modal, +7 billions parameters.
• Language(s) (NLP): Vietnamese and Multilingual
• License: apache-2.0
• Finetuned from model: Qwen/Qwen2-VL-7B-Instruct

Direct Use

Please use this Colab example: https://colab.research.google.com/drive/1CnSxtWDLG48-NQh7wk9_z8WI7J4OY_Ci?usp=sharing

Ví dụ

• Kết quả:
• { "document": { "header": { "title": "GIẤY HẸN KHÁM LẠI", "organization": "SỞ Y TẾ NGHỆ AN\nBỆNH VIỆN UNG BƯỚU NGHỆ AN", "address": "Võ Thị Sáu, Thủy Tùng - TP Vinh - Nghệ An" }, "patient_info": { "name": "NGUYỄN THỊ LUÂN", "date_of_birth": "03/07/1976", "gender": "40", "address": "Xã Nghĩa Khánh-Huyện Nghĩa Đàn-Nghệ An", "medical_card_number": "CN 3 40 40 168 60413", "registration_date": "16/12/2016", "admission_date": "Từ 01/03/2016", "diagnosis": "C20-Bướu ac trực tràng", "revisit_date": "17/01/2017" }, "administrative_details": { "department": "Trung tâm điều trị ung bướu", "revisit_instruction": "vào ngày 17/01/2017, hoặc đến hết kỳ thời gian nếu nước ngoài hẹn khám lại nếu có dấu hiệu (triệu chứng)", "note": "nếu KCB ban đầu: Trạm y tế xã Nghĩa Khánh", "signature": "Trưởng khoa", "doctor_signature": "Lâm Nguyễn Khang", "revisiting_date_confirmation": "Ngày 16 tháng 12 năm 2016", "confirmation_signature": "Bác sĩ điều trị", "physician_signature": "Nguyễn Văn Việt" } } }

• Kết quả:

{ "header": { "title": "PHIẾU KHÁM BỆNH", "date": "Hà Nội, ngày 23 tháng 3 năm 2020", "patient_info": { "id": "HN011000002", "name": "Vương Hồng Thắng - Năm sinh: 1978", "address": "Số 10 tầng 2, TTTM V+, Số 505 Phố Minh Khai, Quận Hai Bà Trưng, Hà Nội", "phone": "+0942116117", "email": "bamu.vn@gmail.com" }, "contact_info": { "address": "Nhà Khoa Bamufit\nĐịa chỉ: 505, Phố Minh Khai, Hai Bà Trưng, Hà Nội, Việt Nam", "phone": "0942484784", "email": "info@bamufit.vn", "website": "https://bamufit.vn" } }, "treatment_details": [ { "visit_date": "13-09-2019", "treatment_type": "Chẩn đoán: Abscess chẽ", "procedure": "Cắt lợi bằng Laser r23", "doctor": "THỊ HIEN", "price": "500,000", "quantity": "1", "discounted_price": "0", "total_cost": "500,000" }, { "visit_date": "13-09-2019", "treatment_type": "Chẩn đoán: Abscess quanh chóp", "procedure": "Bám gai xuống ở răng r23", "doctor": "THỊ HIEN", "price": "100,000", "quantity": "1", "discounted_price": "0", "total_cost": "100,000" } ], "financial_details": { "total_cost": "600,000", "discounted_total": "0", "paid_amount": "1,114,000", "remaining_balance": "1,714,000" }, "notes": "- Kiêng ăn uống đồ để gây nhiễm mủ như chè, cà phê, thuốc lá, rượu vang đỏ .. và hạn chế dùng đồ quá nóng, quá lạnh sau khi tẩy trắng răng ít nhất 2 tuần.", "footer": { "customer_signature": "(Ký và ghi rõ họ tên)", "accountant_signature": "(Ký và ghi rõ họ tên)", "dentist_signature": "(Ký và ghi rõ họ tên)" } }

• Kết quả:

Hình ảnh là một biểu đồ thể hiện mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: vùng màu đỏ ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; vùng màu vàng nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và vùng màu xanh lá cây ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ 'Béo phì', 'Nguy cơ béo phì', 'Sức khỏe dinh dưỡng tốt', và 'Thiếu cân' để mô tả từng khu vực tương ứng với chỉ số BMI.

• Kết quả:

  Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.

Citation

• title={EraX-VL-7B-V1: A Highly Efficient Multimodal LLM for Vietnamese, especially for medical forms and bills.},
• author={Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Dũng Hoàng and Thục Phạm and Nhật Phạm},
• helpers={Khang Đoàn and AAA JS Company},
• contact={nguyen@erax.ai},
• organization={EraX}

References

[1] Yang, An, et al. "Qwen2 technical report." arXiv preprint arXiv:2407.10671 (2024).

[2] Chen, Zhe, et al. "Internvl: Scaling up vision foundation models and aligning for generic visual-linguistic tasks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

[3] Chen, Zhe, et al. "How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites." arXiv preprint arXiv:2404.16821 (2024).

[4] Tran, Chi, and Huong Le Thanh. "LaVy: Vietnamese Multimodal Large Language Model." arXiv preprint arXiv:2404.07922 (2024).