huggingface 캐시 지우기

아무 생각 없이 계속해서 모델 파라미터를 받다 보니 캐시만 300GB가 넘는 상황이 발생했다.

 

huggingface-cli 패키지가 설치되어 있다고 가정하고, 아래의 명령을 통해 캐시 목록을 확인할 수 있다.

huggingface-cli scan-cache

이렇게 입력하면 아래처럼 와랄랄랄라 나온다

 

huggingface의 자료에 따르면, 캐싱 시스템은 아래와 같은 디렉토리로 구성되어 있다고 함(https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache)

<CACHE_DIR>
├─ <MODELS>
├─ <DATASETS>
├─ <SPACES>

 

저장 예시

<CACHE_DIR>
├─ models--julien-c--EsperBERTo-small
├─ models--lysandrejik--arxiv-nlp
├─ models--bert-base-cased
├─ datasets--glue
├─ datasets--huggingface--DataMeasurementsFiles
├─ spaces--dalle-mini--dalle-mini

 

캐시를 지우고 싶으면 아래 명령어 입력

huggingface-cli delete-cache

 

키보드 up, down을 눌러서 커서 이동, space를 눌러서 항목 토글 가능.

그리고 엔터를 누르면 끝