docker: Error response from daemon: Unknown runtime specified nvidia.

NVIDIA의 Jetson 플랫폼에서 Ollama LLM 패키지를 Docker를 통해 실행할 수 있도록 환경을 구축하는 과정에서

아래의 명령어로 container를 run하려고 하니까

docker run --runtime nvidia -it --rm \
	--network=host \
	-v ~/ollama:/ollama \
	-e OLLAMA_MODELS=/ollama \
	dustynv/ollama:r36.2.0

 

아래와 같은 에러메세지를 확인할 수 있었다.

docker: Error response from daemon: Unknown runtime specified nvidia.
See 'docker run --help'.

 

이 오류는 Docker가 nvidia 런타임을 인식하지 못할 때 발생하는데, 이는 NVIDIA 컨테이너 런타임이 제대로 설치되지 않았거나 설정이 올바르지 않은 경우에 생길 수 있다.

 

1. NVIDIA 컨테이너 런타임 설치

먼저, NVIDIA 컨테이너 런타임이 설치되어 있는지 확인하고 설치되지 않았다면 설치한다.

# 패키지 목록 업데이트
sudo apt-get update

# nvidia-docker2 및 필수 종속성 설치
sudo apt-get install -y nvidia-container-toolkit

# Docker 데몬 재시작
sudo systemctl restart docker

 

2. Docker 데몬 설정 파일 수정

/etc/docker/daemon.json 파일에 NVIDIA 런타임을 추가해야한다. 파일이 존재하지 않으면 새로 생성하고, 아래 내용을 추가한다.

{
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

 

3. Docker 재시작

sudo systemctl restart docker

 

4. NVIDIA Docker 런타임 활성화 확인

설치 및 설정이 완료되면, NVIDIA 런타임이 올바르게 작동하는지 확인한다.

아래 명령어를 실행하여 Docker가 GPU를 인식하는지 테스트

docker run --rm --runtime=nvidia nvidia/cuda:11.0-base nvidia-smi