llama-3-korean-8b-awq

• Foundation Model Bllossom 8B
• datasets
  • Koalpaca v1.1a
  • jojo0217/korean_safe_conversation
• AWQ Quantization
• Paged Attention vLLM

Query

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/llama-3-korean-8b-awq"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

instruction = '파이썬 merge sort 코드와 자세한 설명도 같이 제시해줘'

messages = [
    {
      "role": "system",
      "content": "당신은 훌륭한 AI 비서입니다. 짧은 답변을 제시하고, 다음으로 상세 설명을 해주세요. You are a great AI assistant. Give a short answer, then elaborate. "
    },
    {
      "role": "user",
      "content": instruction
    }, 
]

prompt_message = tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True,
)

eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]

outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.8, top_p=0.95,max_tokens=2048))

for output in outputs:
    propt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

Result

<pre> Merge Sort는 배열을 둘로 나눈 뒤, 재귀적으로 정렬된 두 개를 합하여 정렬하는 알고리즘입니다. 다음은 파이썬으로 구현한 Merge Sort 코드입니다. ```python def merge_sort(arr): if len(arr) <= 1: return arr mid = len(arr) // 2 left = arr[:mid] right = arr[mid:] left = merge_sort(left) right = merge_sort(right) return merge(left, right) def merge(left, right): result = [] i = 0 j = 0 while i < len(left) and j < len(right): if left[i] < right[j]: result.append(left[i]) i += 1 else: result.append(right[j]) j += 1 while i < len(left): result.append(left[i]) i += 1 while j < len(right): result.append(right[j]) j += 1 return result arr = [4, 3, 2, 8, 6, 1, 5, 7, 3, 2, 1] result = merge_sort(arr) print(result) ``` 위 코드를 실행하면 다음과 같은 결과가 출력될 것입니다. ``` [1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8] ``` Merge Sort를 자세히 설명하면 다음과 같습니다. 1. 정의: Merge Sort는 배열을 두 개의 부분 배열으로 나눈 뒤, 재귀적으로 정렬된 두 개를 합하여 정렬하는 알고리즘입니다. 2. 동작: Merge Sort는 배열을 분할하여 두 개의 부분 배열을 만듭니다. 그 후, 재귀적으로 정렬된 두 개를 합하여 정렬된 결과를 얻습니다. 3. 시간 복잡도: Merge Sort의 시간 복잡도는 O(n log n)이며, 이는 배열의 요소를 재귀적으로 분할하고 조합하는 과정에서 발생하는 비교 및 이동의 수를 고려합니다. 4. 장단점: Merge Sort는 안정적인 정렬 알고리즘으로, 배열의 원소를 비활성화 유지하며 정렬할 수 있습니다. 그러나 배열의 원소가 많은 경우, 재귀적으로 분할된 부분 배열의 수를 제한하기 때문에 시간 복잡도가 높아질 수 있습니다. 따라서, Merge Sort는 정렬을 원할 경우 안정적인 정렬 알고리즘으로 고려하는 것이 좋습니다. </pre>