NeuraMedicalGemma7b

Neura Orca Gemma 7B

<p align="center"> <img src="neura_gemma.png" width=512 height=256 /> </p> <!-- Provide a quick summary of what the model is/does. -->

Model Description

<!-- Provide a longer summary of what this model is. -->

• Developed by: Neura company
• Funded by: Neura
• Model type: gemma7b
• Language(s) (NLP): Persian
• Finetuned from model: google/gemma-7b-it

Model Sources

<!-- Provide the basic links for the model. -->

• Repository: https://huggingface.co/google/gemma-7b-it

Uses

Check out the Google Colab demo to run NeuraOrcaGemma7b on a free-tier Google Colab instance:

make sure these packages are installed:

!pip install --no-deps xformers accelerate bitsandbytes
!pip install -q -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
import os
MODEL_PATH = "Neurai/NeuraMedicalGemma7b"
quantization_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    device_map = "auto",
    trust_remote_code = True,
    quantization_config=quantization_config,
)

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

input_prompt = """
### Instruction:{}
### Input:{}
### Response:{}"""

input_text = input_prompt.format(
        "انگشت شصت دستم با درد باز میشود عکس ام آر آی هم گرفتم اثری از شکستگی نیست تشخیص تو چیه؟", 
        "", 
        ""
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

Generated text :

 بر اساس علائم و نتایج تصویربرداری،
 به نظر می‌رسد که شما ممکن است از سندرم تونل کارپال رنج ببرید.
 این وضعیت زمانی رخ می دهد که عصب مدیان در مچ دست شما فشرده یا فشرده می شود.
 در مورد شما، ممکن است که ضربه به انگشت شست شما باعث این فشردگی شده باشد. <eos>

More Information

https://neura.info

Model Card Authors

Esmaeil Zahedi, Mohsen Yazdinejad

Model Card Contact

[email protected]