[파이썬/응용]Yahoo 뉴스 자료 크롤링(4) / 저성능PC에서 구동 가능한 LLM "Bllossom/llama-3.2-Korean-Bllossom-3B" 설치 / LLM 튜닝

※이 글은 자기개발 및 복습을 위한 글로, 야후 뉴스 크롤링에 대한 파이썬 코딩을 만드는 방법을 작성하는 글임을 밝힌다.

주식을 하다 보면, Telegram이나 카카오 오픈채팅 등의 소스에서 뉴스를 접하는 경우가 많은데, 남이 떠먹여 주기만 해서는 내가 시사에 관심을 가질 수 없음을 깨닫는다. 그래서 직접 Yahoo News의 자료들을 크롤링하여, 해당 내용들 중 중요한 내용들을 요약하여 내 텔레그램 Bot에 요약 자료까지 발송하는 일련의 가정을 작성하고자 한다.

 

https://wjjw.tistory.com/entry/Yahoocrawling3

[파이썬/응용]Yahoo 뉴스 자료 크롤링(3) / Ollama 환경에서 EEVE 모델 설치

EEVE를 설치했으나, 내가 간과한 것이 있었다. 바로 PC의 성능이 상당히 떨어진다는 것이었다.

Ollama 환경에서는 GPU로 구동되기 때문에,

EEVE를 돌리려면 GPU 성능이 9.4Gb 이상이 되어야하는데, 내 PC의 GPU 성능은 8Gb대여서 돌아가지 않았다.

CPU로 돌리거나 하는 방법도 있지만, 굳이 그렇게까지는 하고싶지 않기 때문에 다른 대안을 찾았다.

https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M/tree/main

Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M at main

바로 LLama3.2 모델 중 한국어 학습을 시킨 모델이다.

기존에 내가 쓰려고 했던 EEVE는 파라미터가 100억대여서 높은 GPU를 요구하지만, 

이번 Bllossom LLama3.2는 30억대 파라미터기 때문에 내 PC의 GPU 수준에 부합했다.

 

바로 설치 해보자

※ 앞의 글과 설치 방법은 동일하다.

 

 

설치 순서

1. Huggingface에서 GGUF 설치

 

사실 이전 글에서는 허깅페이스가 있어야지만 다운로드 받을 수 있는 줄 알았는데, 그냥 허깅페이스 플랫폼에서 바로 받을 수 있음을 알게됐다.

 위 사이트에서 Files and versions를 클릭 후, gguf 파일을 다운로드 받으면 된다.

 

 

 

 

 

 

 

 

 

 

 

2. Modelfile 만들기

 

모델파일은 내가 설치한 LLM에 대해 역할과 능력범주를 설정해주는 작업이다.

FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM """당신은 전문적인 뉴스 분석가입니다. 금융, 경제, 산업 전반에 걸친 깊은 이해를 바탕으로 뉴스를 분석하고 요약합니다. 항상 객관적이고 중립적인 시각을 유지하며, 투자자들에게 유용한 인사이트를 제공합니다."""


PARAMETER stop <s>
PARAMETER stop </s>

 

이런 식으로 내가 필요한 LLM 형식을 구성할 수 있다.

※참고

PARAMETER: 모델의 동작 방식을 제어하는 하이퍼파라미터(창의성, 응답 중단 조건 등)
TEMPLATE: 모델에 입력되는 프롬프트의 형식을 정의한다. 사용자 입력과 응답의 구조
SYSTEM: 대화의 맥락과 스타일 등 모델의 역할과 성격을 정의한다. 

 

우리가 설치하고자 하는 GUFF가 있는 경로에서 메모장에 LLM에 대한 modelfile 작성한 후,

modelfile(확장자없음)으로 저장한다.

https://github.com/ollama/ollama/blob/main/docs/modelfile.md

ollama/docs/modelfile.md at main · ollama/ollama

위 링크에서 자세한 내용을 확인할 수 있다.

https://github.com/ollama/ollama/blob/main/docs/modelfile.md#parameter

 

 

 

 

 

 

 

 

 

 

3.Ollama로 설치

 

그 다음, Ollama를 이용하여

ollama create [원하는LLM명] -f [경로]/modelfile

위와 같이 입력해주면,

설치된다.

 

 

설치 후, ollama list를 입력해보면 아래와 같이 설치가 완료됐음을 알 수 있다.

 

(사이즈를 보면 단 2G로 이루어져 있음을 알 수 있다.)

 

4. 구동

ollama run [LLM 이름]

을 해주면 구동이 되고 말을 걸 수 있는데,

말을 한 번 걸어봤다.

 

여기서 답변이 이상함을 알 수 있는데, 계속 무한으로 얘기하는 우리의 똘박이를 볼 수 있다.

똘박이의 정신을 차리게 하려면 우리는 parameter 조절을 해줘야한다.
https://github.com/ollama/ollama/blob/main/docs/modelfile.md

ollama/docs/modelfile.md at main · ollama/ollama

FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf


TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""


SYSTEM """당신은 전문적인 뉴스 분석가입니다. 금융, 경제, 산업 전반에 걸친 깊은 이해를 바탕으로 뉴스를 분석하고 요약합니다. 항상 객관적이고 중립적인 시각을 유지하며, 투자자들에게 유용한 인사이트를 제공합니다."""

PARAMETER top_k 20 
PARAMETER repeat_penalty 1.4
PARAMETER stop <s>
PARAMETER stop </s>

2의 modelfile에서 내용을 일부 수정 후, 다시 2~4의 절차를 따르면 

이런 식으로 대답을 하는 LLM을 만들 수 있다.