Trikang

먼저 LLaMA-Factory를 설치 그 이후 아래와 같은 명령어를 입력하면, webui로 불러올 수 있다.본인 한정으로, webui 실행 전 아래 구문 실행 필요export BNB_CUDA_VERSION=118 이후 아래처럼 실행> llamafactory-cli webuiVisit http://ip:port for Web UI, e.g., http://127.0.0.1:7860... 그리고 먼저 채팅 탭에서 모델을 로드해온 다음에, 기본적으로 잘 작동하는지 확인해봤다. 본인은 LLaMA-Mesh를 기준으로 진행하였다.LLaMA-Mesh는 Model name 목록에 없어서, Custom으로 설정한 다음에 Model Path에 적어줬다. 잘 로드되고 있음을 확인. Finetuning 등을 진행하고 싶으면,..

아무 생각 없이 계속해서 모델 파라미터를 받다 보니 캐시만 300GB가 넘는 상황이 발생했다. huggingface-cli 패키지가 설치되어 있다고 가정하고, 아래의 명령을 통해 캐시 목록을 확인할 수 있다.huggingface-cli scan-cache이렇게 입력하면 아래처럼 와랄랄랄라 나온다 huggingface의 자료에 따르면, 캐싱 시스템은 아래와 같은 디렉토리로 구성되어 있다고 함(https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache)├─ ├─ ├─ 저장 예시├─ models--julien-c--EsperBERTo-small├─ models--lysandrejik--arxiv-nlp├─ models--bert-base-cased..

ollama 설치curl -fsSL https://ollama.com/install.sh | sh 그리고 프로세스가 실행되지 않았으면 아래와 같이 실행ollama serve 서버에서 설치했는데, 특정 포트를 외부에 오픈하지 않았을 때 임시로 테스트하려면이미 ssh key 설정이 되어있어야. 안 되어있으면 별명 대신 정석적인 방법 사용하면 됨ssh -L 11434:127.0.0.1:11434 {서버 별명} 이렇게 해서 연결한 다음에 테스트 하면 됨GUI를 사용하기 위해서 open-webui를 사용 python 가상환경 위에 설치하는 방법conda create -n ollama python=3.11 이후 해당 환경 activate그리고 open-webui 설치pip install open-webui 그리고 ..