gpt2-medium-indonesian-dolly

Description

This is indonesian-nlp/gpt2-medium-indonesian finetuned on databrick's dolly 15k dataset translated using m2m100_418 over 1024 steps, 3 epochs

template: <|konteks|>{konteks}<|instruksi|>{instruksi}<|jawaban|>{jawaban}

Usage

Warning: please spare at least 4-5 GB of free RAM before loading the model so as to not overload the CPU memory

CPU

import torch
from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, GPT2Tokenizer

peft_model_path ='umarzein/gpt2-medium-indonesian-dolly'

config = PeftConfig.from_pretrained(peft_model_path)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, return_dict=True)

tokenizer = GPT2Tokenizer.from_pretrained(config.base_model_name_or_path)

model = PeftModel.from_pretrained(model, peft_model_path)

batch = tokenizer("<|konteks|><|instruksi|>Apa itu internet?<|jawaban|>", return_tensors='pt')

output_tokens = model.generate(**batch, max_new_tokens=50, repetition_penalty=1.17)

print(tokenizer.decode(output_tokens[0], skip_special_tokens=True))

# <|konteks|><|instruksi|>Apa itu internet?<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer
# di seluruh dunia. Internet terdiri dari jutaan server dan ribuan perangkat lunak, termasuk sistem operasi, aplikasi
# web, browser, email, dll.<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer di seluruh dunia.
# Internet

GPU

import torch
from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, GPT2Tokenizer

peft_model_path ='umarzein/gpt2-medium-indonesian-dolly'

# Load the Lora model
model = PeftModel.from_pretrained(model, peft_model_path)

config = PeftConfig.from_pretrained(peft_model_path)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, return_dict=True, load_in_8bit=True, device_map='auto')

tokenizer = GPT2Tokenizer.from_pretrained(config.base_model_name_or_path)

model = PeftModel.from_pretrained(model, peft_model_path)

batch = tokenizer("<|konteks|><|instruksi|>Apa itu internet?<|jawaban|>", return_tensors='pt')

with torch.cuda.amp.autocast():
  output_tokens = model.generate(**batch, max_new_tokens=50, repetition_penalty=1.17)

print(tokenizer.decode(output_tokens[0], skip_special_tokens=True))

# <|konteks|><|instruksi|>Apa itu internet?<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer
# di seluruh dunia. Internet terdiri dari jutaan server dan ribuan perangkat lunak, termasuk sistem operasi, aplikasi
# web, browser, email, dll.<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer di seluruh dunia. Internet

Some Results

1. <|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>

• gpt2[repetition_penalty=1.1, max_new_tokens=50]:

<|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>udah ter� Ind'el melam multimedia) kita yaituartariikap kam penj bis yang d ger a selamatnormol berjisiutamaha Bin untukengkideo mengulai4lu tentid memilikiad Ter bingungdaauuaelah

• umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.1, max_new_tokens=50]:

<|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>Himpunan adalah sekelompok objek yang memiliki karakteristik tertentu. Karakteristik ini dapat berupa atribut, sifat, dan sebagainya. Atribut adalah karakteristik yang dimiliki oleh objek. Sifat adalah karakteristik yang dimiliki oleh objek. Atribut juga dapat didefinisikan sebagai karakteristik yang dimiliki oleh objek.

• #indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.1, max_new_tokens=50]:

<|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>Himpunan adalah suatu konsep yang abstrak, tidak dapat didefinisikan dengan pasti. Namun demikian, himpunan merupakan salah satu konsep dasar dari ilmu matematika.<|keterangan|>Himpunan adalah suatu himpunan bagian dari himpunan semua objek yang ada di dunia nyata.<|keter

1. <|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>

• gpt2[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>engan berlaku atdilikagam�\ga tetapoD serta mel daat memilikigiid deskapa kam)ari (dukemendaol untuk buadutuakai 40'elо Andaalkan" ekstrba did) tent 30 y teram

• umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>Orang-orang yang paling terkenal di dunia adalah: George Bush, Nelson Mandela, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F.

• indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|

1. <|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>

• gpt2[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>ebut-(@/'0j+n BDistem melarti memberariua lada buol bis� warawaarterh meny d yaituiliauonalormmen ad kam rekanad orangututu gangguan dalamnya Iupakancelonaalahengg

• umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>OpenAI adalah sebuah organisasi penelitian AI yang didirikan pada tahun 2014 di San Francisco, California. Mereka bertujuan untuk mengembangkan teknologi pembelajaran mesin yang memungkinkan orang-orang untuk belajar lebih cepat daripada komputer. Mereka juga ingin menciptakan platform komputasi cerdas baru yang bisa membantu meningkatkan kehidupan

• indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.17, max_new_tokens=50]:

<|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>OpenAI adalah sebuah organisasi nirlaba yang bertujuan untuk mengembangkan teknologi AI di seluruh dunia.<|penjelasan|>OpenAI didirikan pada bulan September 2014 oleh sekelompok ilmuwan yang bekerja sama dengan IBM dan Intel. Mereka ingin menciptakan sistem komputasi cerdas yang memungkinkan orang-orang untuk