Update README.md
Browse files
README.md
CHANGED
@@ -2,4 +2,67 @@
|
|
2 |
license: apache-2.0
|
3 |
language:
|
4 |
- de
|
5 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
license: apache-2.0
|
3 |
language:
|
4 |
- de
|
5 |
+
---
|
6 |
+
|
7 |
+
# primeline/gerqwen-audio
|
8 |
+
|
9 |
+
## Einführung
|
10 |
+
|
11 |
+
Das Modell "primeline/gerqwen-audio" ist eine Weiterentwicklung der Qwen2-Audio-Serie, speziell angepasst und weitertrainiert für die deutsche Sprache. Dieses Modell ist darauf ausgelegt, verschiedene Audioeingaben zu akzeptieren und detaillierte Audioanalysen durchzuführen oder direkte textuelle Antworten auf Sprachanweisungen zu geben. Es unterstützt insbesondere:
|
12 |
+
|
13 |
+
* Analyse der Sprecher nach Altersgruppen und Geschlecht
|
14 |
+
* Spracherkennung
|
15 |
+
* Bewertung und Korrektur von Transkripten
|
16 |
+
|
17 |
+
Das Modell wurde von der Primeline Gruppe gesponsert und auf dem Just Add AI GenAI Meetup 2 vorgestellt.
|
18 |
+
|
19 |
+
Für weitere Details verweisen wir auf die [Original-Blogbeiträge](https://qwenlm.github.io/blog/qwen2-audio/) und [GitHub-Repositories](https://github.com/QwenLM/Qwen2-Audio) der Qwen-Modelle.
|
20 |
+
|
21 |
+
## Anforderungen
|
22 |
+
|
23 |
+
Das Modell "primeline/gerqwen-audio" basiert auf den neuesten Hugging Face Transformers. Wir empfehlen, die Bibliothek direkt aus der Quelle zu installieren mit dem Befehl `pip install git+https://github.com/huggingface/transformers`, um mögliche Fehler zu vermeiden.
|
24 |
+
|
25 |
+
## Schnellstart
|
26 |
+
|
27 |
+
Hier ein Codebeispiel, das zeigt, wie der Prozessor und das Modell geladen werden, um das vortrainierte "primeline/gerqwen-audio" Modell für die Generierung von Inhalten zu verwenden:
|
28 |
+
|
29 |
+
```python
|
30 |
+
from io import BytesIO
|
31 |
+
from urllib.request import urlopen
|
32 |
+
import librosa
|
33 |
+
from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration
|
34 |
+
|
35 |
+
model = Qwen2AudioForConditionalGeneration.from_pretrained("primeline/gerqwen-audio", trust_remote_code=True)
|
36 |
+
processor = AutoProcessor.from_pretrained("primeline/gerqwen-audio", trust_remote_code=True)
|
37 |
+
|
38 |
+
prompt = "<|audio_bos|><|AUDIO|><|audio_eos|>Generiere die Transkription auf Deutsch:"
|
39 |
+
url = "https://beispiel-audio-url.de/audio.mp3"
|
40 |
+
audio, sr = librosa.load(BytesIO(urlopen(url).read()), sr=processor.feature_extractor.sampling_rate)
|
41 |
+
inputs = processor(text=prompt, audios=audio, return_tensors="pt")
|
42 |
+
|
43 |
+
generated_ids = model.generate(**inputs, max_length=256)
|
44 |
+
generated_ids = generated_ids[:, inputs.input_ids.size(1):]
|
45 |
+
response = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
|
46 |
+
```
|
47 |
+
|
48 |
+
## Zitation
|
49 |
+
|
50 |
+
Wenn Sie unsere Arbeit nützlich finden, zitieren Sie uns gerne. Beachten Sie, dass dieses Modell eine Weiterentwicklung der ursprünglichen Arbeiten von Qwen ist.
|
51 |
+
|
52 |
+
```BibTeX
|
53 |
+
@article{primeline-gerqwen-audio,
|
54 |
+
title={primeline/gerqwen-audio: Fortsetzung des Trainings für spezifische Audioanalyse-Aufgaben},
|
55 |
+
author={Originalautoren: Chu, Yunfei et al.},
|
56 |
+
journal={arXiv preprint arXiv:2407.10759, Weiterentwicklung für spezifische Aufgaben},
|
57 |
+
year={2024}
|
58 |
+
}
|
59 |
+
```
|
60 |
+
|
61 |
+
```BibTeX
|
62 |
+
@article{Qwen-Audio,
|
63 |
+
title={Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models},
|
64 |
+
author={Chu, Yunfei and Xu, Jin and Zhou, Xiaohuan and Yang, Qian and Zhang, Shiliang and Yan, Zhijie and Zhou, Chang and Zhou, Jingren},
|
65 |
+
journal={arXiv preprint arXiv:2311.07919},
|
66 |
+
year={2023}
|
67 |
+
}
|
68 |
+
```
|