|
--- |
|
language: en |
|
tags: |
|
- musr |
|
- question-answering |
|
- reasoning |
|
metrics: |
|
- accuracy: 0.87 |
|
- reasoning_quality: 1.0 |
|
- source_integration: 0.975 |
|
datasets: |
|
- allenai/qasc |
|
model-index: |
|
- name: Qwen-0.5B-MUSR |
|
results: |
|
- task: |
|
type: question-answering |
|
name: Multi-Source Reasoning (MUSR) |
|
dataset: |
|
name: QASC |
|
type: allenai/qasc |
|
metrics: |
|
- type: accuracy |
|
value: 0.87 |
|
name: Accuracy |
|
--- |
|
|
|
# Qwen-0.5B-MUSR |
|
|
|
Ce modèle est une version fine-tunée de Qwen-0.5B optimisée pour le benchmark MUSR, atteignant : |
|
- Une amélioration de 40.52% de l'eval_loss par rapport à la baseline |
|
- Une accuracy de 87% sur les questions multi-sources |
|
- Une qualité de raisonnement parfaite (100%) |
|
- Une utilisation quasi-parfaite des sources (97.5%) |
|
|
|
## Performances |
|
|
|
- Accuracy: 0.87 |
|
- Reasoning Quality: 1.0 |
|
- Source Integration: 0.975 |
|
- Eval Loss: 1.036 |
|
|
|
## Cas d'utilisation |
|
|
|
Particulièrement efficace pour : |
|
- Questions nécessitant l'intégration de multiples sources |
|
- Raisonnement complexe |
|
- Réponses explicatives détaillées |
|
|
|
## Configuration optimale : |
|
- max_length: 170 |
|
- weight_decay: 0.1 |
|
- warmup_ratio: 0.07 |
|
- gradient_accumulation: 4 |
|
- scheduler: polynomial |
|
|
