: RTM133Lifting
https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow https://img.shields.io/badge/License-MIT-green.svg https://badge.fury.io/py/%3Cdein-paketname%3E.svg https://img.shields.io/badge/Framework-PyTorch-orange
Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten. 📋 Modell-Details
Entwickler: Jonas D. Stephan, Nathalie Dollmann
Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d)
Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze.
Framework: PyTorch
Input: 2D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.
Output: 3D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.
🚀 Schnellstart Installation bash
Installation via PyPI
pip install pose-estimation-recognition-utils-rtmlib
Grundlegende Verwendung python
from pose_estimation_recognition_utils_rtmlib import RTMLifting, RTMPoseEstimator2D
1. 2D PoseEstimation eines Bilder
estimator = RTMPoseEstimator2D()
result2D = estimator.process_image_from_file(image_path="Testbild.jpg")
2. Lifting Model laden
lifting = RTMLifting(num_keypoints=133, mode="ai")
3. Liften
lifting.lift_pose(result2D)
📥 Modell-Download
Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download: python
from pose_estimation_recognition_utils_rtmlib import ModelLoader, Simple3DPoseLiftingModel
model=Simple3DPoseLiftingModel(num_keypoints=num_keypoints)
model.to(device)
model.eval()
model_loader=ModelLoader( repo_id="fhswf/rtm133lifting", model_filename="rtm133lifting.pth", cache_dir=cache_dir, )
state_dict=model_loader.load_model(device=device)
model.load_state_dict(state_dict)
📊 Evaluation & Leistung
Train Loss: 29712.805670 Test Loss: 100725.236959
🏋️ Training
Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.
Epochen: 175
Batch-Größe: 256
Optimierer: Adam
Learning Rate: 0.002
Hardware: NVIDIA GeForce RTX 3050
📄 Zitation
@inproceedings{zhu2023h3wb, title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark}, author={Zhu, Yue and Samet, Nermin and Picard, David}, booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, year={2023} }
/@misc{2024, title = {{}: A 3D Whole-Body Pose Estimation Model}, author = {Stephan, Jonas D. and Dollmann, Nathalie}, howpublished = {\url{https://github.com//}}, year = {2024} }/
🙏 Danksagung
Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes. ⚖️ Lizenz
Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.
Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann.