README.md

---
library_name: transformers
license: apache-2.0
base_model: intfloat/multilingual-e5-base
tags:
- generated_from_trainer
- sentence-transformers
- text-classification
- feature-extraction
- generated_from_trainer
- legal
- taxation
- fiscalité
- tax
metrics:
- accuracy
model-index:
- name: lemone-router
  results: []
language:
- fr
pipeline_tag: text-classification
datasets:
- louisbrulenaudet/code-impots
- louisbrulenaudet/code-impots-annexe-iv
- louisbrulenaudet/code-impots-annexe-iii
- louisbrulenaudet/code-impots-annexe-i
- louisbrulenaudet/code-impots-annexe-ii
- louisbrulenaudet/livre-procedures-fiscales
- louisbrulenaudet/bofip
widget:
- text: "Quelles sont les modalités d'adoption d'un plan d'apurement échelonné par la commission chargée du recouvrement, et quelles sont les conditions qui s'imposent aux administrations et organismes chargés du recouvrement ainsi qu'au débiteur qui s'engage à le respecter ?"
  example_title: "Contrôle et contentieux"
- text: "Quel régime fiscal est applicable aux opérations de crédit-bail portant sur des fonds de commerce, des fonds artisanaux, ou l'un de leurs éléments incorporels non amortissables, et quelles sont les conditions dans lesquelles les sommes correspondant à la quote-part de loyer ne constituent pas un élément du bénéfice imposable du bailleur et ne sont pas déductibles pour la détermination des résultats imposables du locataire ?"
  example_title: "Bénéfices professionnels"
- text: "La succession s'ouvre par le décès dude cujus(code civil, art. 720). C'est donc le décès qui constitue le fait générateur de l'impôt. Dès lors, le tarif du droit et les règles applicables à sa liquidation sont celles en vigueur au jour du décès (en ce sens, Cass. com 7 janvier 1997 n° de pourvoi 95-11686). Toutefois, pour les legs sous condition suspensive (BOI-ENR-DMTG-10-10-10-10), les droits sont dus lors de la réalisation de la condition, d'après le régime fiscal applicable et la valeur des biens à cette époque (code général des impôts (CGI), art 676). Par ailleurs, pour les pénalités éventuellement exigibles, la loi applicable est celle en vigueur lors de la contravention. L'administration prouve le décès, en vue de la réclamation des droits, au moyen des registres de l'état civil dont les maires sont tenus de lui remettre un relevé trimestriel (LPF, art. L. 102 A). Elle peut aussi prouver la mutation par décès au moyen des présomptions légales de l'article 1881 du CGI et de l'article 1882 du CGI. Dans ce cas le fait générateur se place à la date à partir de laquelle la prise de possession est établie."
  example_title: "Patrimoine et enregistrement"
- text: "Quelles sont les obligations déclaratives que les associés personnes physiques doivent respecter pour bénéficier de la réduction d'impôt accordée au titre des dépenses de restauration immobilière effectuées dans les sites patrimoniaux remarquables et les quartiers relevant de la politique de la ville, et quelles sont les pièces justificatives qui doivent être jointes à leur déclaration des revenus ?"
  example_title: "Revenus particuliers"
---

<img src="assets/thumbnail.webp">

# Lemone-Router: A Series of Fine-Tuned Classification Models for French Taxation

Lemone-router is a series of classification models designed to produce an optimal multi-agent system for different branches of tax law. Trained on a base of 49k lines comprising a set of synthetic questions generated by GPT-4 Turbo and Llama 3.1 70B, which have been further refined through evol-instruction tuning and manual curation and authority documents, these models are based on an 8-category decomposition of the classification scheme derived from the Bulletin officiel des finances publiques - impôts :

```python
label2id = {
    "Bénéfices professionnels": 0,
    "Contrôle et contentieux": 1,
    "Dispositifs transversaux": 2,
    "Fiscalité des entreprises": 3,
    "Patrimoine et enregistrement": 4,
    "Revenus particuliers": 5,
    "Revenus patrimoniaux": 6,
    "Taxes sur la consommation": 7
}
	
id2label = {
    0: "Bénéfices professionnels",
    1: "Contrôle et contentieux",
    2: "Dispositifs transversaux",
    3: "Fiscalité des entreprises",
    4: "Patrimoine et enregistrement",
    5: "Revenus particuliers",
    6: "Revenus patrimoniaux",
    7: "Taxes sur la consommation"
}
```

This model is a fine-tuned version of [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small).
It achieves the following results on the evaluation set:
- Loss: 0.4446
- Accuracy: 0.9061

### Usage

```python
# Load model directly
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("louisbrulenaudet/lemone-router-s")
model = AutoModelForSequenceClassification.from_pretrained("louisbrulenaudet/lemone-router-s")
```

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 9.736038436571022e-05
- train_batch_size: 8
- eval_batch_size: 64
- seed: 6
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.1
- num_epochs: 4

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Accuracy |
|:-------------:|:-----:|:-----:|:---------------:|:--------:|
| 0.6002        | 1.0   | 5617  | 0.5964          | 0.8207   |
| 0.4506        | 2.0   | 11234 | 0.4375          | 0.8788   |
| 0.3138        | 3.0   | 16851 | 0.4400          | 0.8965   |
| 0.189         | 4.0   | 22468 | 0.4446          | 0.9061   |


### Training Hardware
- **On Cloud**: No
- **GPU Model**: 1 x NVIDIA H100 NVL
- **CPU Model**: AMD EPYC 9V84 96-Core Processor

### Framework versions

- Transformers 4.45.2
- Pytorch 2.4.1+cu121
- Datasets 2.21.0
- Tokenizers 0.20.1

## Citation
If you use this code in your research, please use the following BibTeX entry.

```BibTeX
@misc{louisbrulenaudet2024,
  author =       {Louis Brulé Naudet},
  title =        {Lemone-Router: A Series of Fine-Tuned Classification Models for French Taxation},
  year =         {2024}
  howpublished = {\url{https://huggingface.co/datasets/louisbrulenaudet/lemone-router-s}},
}
```

## Feedback

If you have any feedback, please reach out at [louisbrulenaudet@icloud.com](mailto:louisbrulenaudet@icloud.com).