LLaMA-Factory를 이용해서 Pretrained 모델 평가 및 Finetuning 진행하기

먼저 LLaMA-Factory를 설치

 

그 이후 아래와 같은 명령어를 입력하면, webui로 불러올 수 있다.

본인 한정으로, webui 실행 전 아래 구문 실행 필요

export BNB_CUDA_VERSION=118

 

이후 아래처럼 실행

> llamafactory-cli webui
Visit http://ip:port for Web UI, e.g., http://127.0.0.1:7860
...

 

그리고 먼저 채팅 탭에서 모델을 로드해온 다음에, 기본적으로 잘 작동하는지 확인해봤다.

 

본인은 LLaMA-Mesh를 기준으로 진행하였다.

LLaMA-Mesh는 Model name 목록에 없어서, Custom으로 설정한 다음에 Model Path에 적어줬다. 잘 로드되고 있음을 확인.

 

Finetuning 등을 진행하고 싶으면, Train 탭에서 원하는대로 셋업을 해주면 된다.

 

그리고 start를 '딸깍' 하면 훈련이 시작되며, webui 혹은 cli 등에서 모두 훈련 과정을 확인할 수 있다.