llama-30b-hf-pl-lora

import torch
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, LlamaTokenizer 

model_name = "decapoda-research/llama-30b-hf"

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=bnb_config, device_map={"":0}, trust_remote_code=True)
model = PeftModel.from_pretrained(model,name_save_path)

tokenizer = LlamaTokenizer.from_pretrained("Lajonbot/llama-30b-hf-pl-lora")

for query in querys:
    get_answer_alpaca(query, model, tokenizer, params = {"temperature":1.0, "top_p":0.95, "repetition_penalty":1.15})

****************************************************************************************************
 ⁇  Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy kontekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
### Instruction:
Czy firma ING jest otwarta w sobotę?
### Input:
Firma ING jest otwarta w poniedziałek, wtorek i środę od godziny 10 do 18.
### Response:
"ING nie jest otwarty w sobotę."
****************************************************************************************************
 ⁇  Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy kontekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
### Instruction:
Jeżeli użytkownik nie otrzymał pozytywnej decyzji kredytowej to czy umowa pożyczki może byc zawarta
### Input:
Umowa o pożyczkę może być zawarta za pośrednictwem Serwisu, jeśli Użytkownik:
a. uzupełni oraz przekaże Bankowi poprzez Serwis wszystkie niezbędne informacje, w tym Dane
identyfikacyjne i czytelny skan/ zdjęcie obu stron dowodu osobistego;
b. otrzyma pozytywną decyzję kredytową.
### Response:
"Nie, umowa o pożyczce nie może być zawarta przez użytkownika, który nie otrzymał pozytywnej decyzji kredytowej. W przypadku gdy użytkownik nie otrzymał pozytywnej decyzji kredytowej, bank nie będzie mógł podpisać umowy o pożyczce."

## Zobacz też

* testowanie jakościowe
****************************************************************************************************
 ⁇  Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy kontekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
### Instruction:
Przed jakimi chorobami chroni jedzenie szpinaku?
### Input:
e. jedzenie liści szpinaku chroni między innymi przed miażdżycą i przed rozwojem chorób nowotworowych
### Response:
"Szpinak jest bogatym źródłem witamin A, C i K oraz minerałów takich jak żelazo, potas, magnez, fosfor i wapń. Szpinak zawiera również dużo białka, a także składników odżywczych, takich jak beta-karoten, lutein, kryptoksantyna, antocyjaniny i inne flawonoidy. Wszystkie te składniki są ważne dla zdrowego funkcjonowania organizmu i mogą pomóc zapobiec wielu chorobom."
****************************************************************************************************
 ⁇  Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy kontekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
### Instruction:
Przed jakimi chorobami chroni jedzenie szpinaku?
### Input:
Umowa o pożyczkę może być zawarta za pośrednictwem Serwisu, jeśli Użytkownik:
a. uzupełni oraz przekaże Bankowi poprzez Serwis wszystkie niezbędne informacje, w tym Dane
identyfikacyjne i czytelny skan/ zdjęcie obu stron dowodu osobistego;
b. za pomocą Serwisu przekaże dokumenty potwierdzające jego dochody w formie wskazanej przez Bank – o
ile Bank będzie tego wymagał;
c. podczas wnioskowania o pożyczkę wykona przelew ze swojego rachunku bankowego w sposób określony
przez Bank w wysokości 1 zł, który zostanie automatycznie zwrócony na rachunek Użytkownika; dane o
tym rachunku bankowym muszą się zgadzać z Danymi identyfikacyjnymi, które Użytkownik podał we
Wniosku;
d. otrzyma pozytywną decyzję kredytową.
e. jedzenie liści szpinaku chroni między innymi przed miażdżycą i przed rozwojem chorób nowotworowych
### Response:
"Szpinak jest bogatym źródłem witamin A, C, E i K, a także minerałów takich jak żelazo, magnez, fosfor, sód, potas, cynk, mangan, chrom, fluoryd, molibden, nikiel, siarka, tlen, azot, wapń, selen, cyna, bor, arsen, glin, bizmut, kobalt, ruten, tellur, tytan, vanadium, wolfram, żelazo, cynk, kadm, kobalt, lantan, neodym, prazeodym, samar, scand, cer, europ, erb, iterb, itr, lawren, lutet, niob, osm, palad, platyna, polon, ren, rod, rubid, tantal, tor, uran, wanad, wolfram, yttrium, cezar, kalcjum, kobalt, krypton, lit, magnez, natrym, ołów, selen, srebro, tal"
****************************************************************************************************
 ⁇  Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy kontekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
### Instruction:
Co to jest siła wyższa? Podaj przykłady siły wyższej.
### Input:
Siła wyższa zdarzenie zewnętrzne, które bezpośrednio lub pośrednio doprowadziło do tego, że Bank nie
wykonał zobowiązań lub wykonał je nienależycie, i któremu Bank nie mógł zapobiec.
O ile będzie to możliwe, Bank poinformuje na stronie www.ing.pl, że wystąpiła siła wyższa, i określi w miarę
możliwości, ile będzie trwała.
Takie zdarzenie to:
- powódź, trzęsienie ziemi, wyładowania atmosferyczne, huragan, trąby powietrzne, wybuch wulkanu lub
inne podobne zjawiska atmosferyczne,
- wyłączenie dostaw prądu przez dostawcę energii elektrycznej, na które Bank nie miał wpływu;
- awaria systemu łączności telekomunikacyjnej oraz inne 
### Response:
"Siła wyższa to zdarzenie zewnętrzne, które bezpośrednio lub pośrednio doprowadziło do tego, że bank nie wykonał zobowiązań lub wykonał je nienależycie, a którego bank nie mógł zapobiec. Przykładami są takie zdarzenia jak powodzie, trzęsienia ziemi, burze, tornada, huragany, erupcje wulkanów lub inne podobne zjawiska atmosferyczne. Siłą wyższą może być również wyłączenie zasilania przez dostawców energii elektrycznej, na które bank nie miał wpływu. Innym przykładem może być awaria systemu łączności telekomunikacyjnej."