Neura Orca Gemma 7B
Model Description
- Developed by: Neura company
- Funded by: Neura
- Model type: gemma7b
- Language(s) (NLP): Persian
- Finetuned from model: google/gemma-7b-it
Model Sources
- Repository: https://huggingface.co/google/gemma-7b-it
Uses
Check out the Google Colab demo to run NeuraOrcaGemma7b on a free-tier Google Colab instance:
make sure these packages are installed:
!pip install --no-deps xformers accelerate bitsandbytes
!pip install -q -U transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
import os
MODEL_PATH = "Neurai/NeuraMedicalGemma7b"
quantization_config = BitsAndBytesConfig(
load_in_4bit = True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
device_map = "auto",
trust_remote_code = True,
quantization_config=quantization_config,
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
input_prompt = """
### Instruction:{}
### Input:{}
### Response:{}"""
input_text = input_prompt.format(
"انگشت شصت دستم با درد باز میشود عکس ام آر آی هم گرفتم اثری از شکستگی نیست تشخیص تو چیه؟",
"",
""
)
inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]
Generated text :
بر اساس علائم و نتایج تصویربرداری،
به نظر میرسد که شما ممکن است از سندرم تونل کارپال رنج ببرید.
این وضعیت زمانی رخ می دهد که عصب مدیان در مچ دست شما فشرده یا فشرده می شود.
در مورد شما، ممکن است که ضربه به انگشت شست شما باعث این فشردگی شده باشد. <eos>
More Information
Model Card Authors
Esmaeil Zahedi, Mohsen Yazdinejad
Model Card Contact
- Downloads last month
- 74
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.