[Ubuntu 20.04] Ollama 및 GUI 설치하기

ollama 설치

curl -fsSL https://ollama.com/install.sh | sh

 

그리고 프로세스가 실행되지 않았으면 아래와 같이 실행

ollama serve

 

서버에서 설치했는데, 특정 포트를 외부에 오픈하지 않았을 때 임시로 테스트하려면

• 이미 ssh key 설정이 되어있어야. 안 되어있으면 별명 대신 정석적인 방법 사용하면 됨

ssh -L 11434:127.0.0.1:11434 {서버 별명}

 

이렇게 해서 연결한 다음에 테스트 하면 됨

---

GUI를 사용하기 위해서 open-webui를 사용

 

python 가상환경 위에 설치하는 방법

conda create -n ollama python=3.11

 

이후 해당 환경 activate

그리고 open-webui 설치

pip install open-webui

 

그리고 아래 명령어를 입력하면 실행됨

open-webui serve

 

성능 향상을 위해서는 아래 hf_xet도 설치해주면 좋다고 한다

pip install huggingface_hub[hf_xet]

---

ollama에 모델 추가하기

 

예시) deepseek-r1

ollama run deepseek-r1:70b

---

open webui 포트 변경하고 싶으면

open-webui serve --port {포트번호}

 

ssh로 테스트

ssh -L {포트}:127.0.0.1:{포트} ys4090js