Ollama 설치하고 로컬 LLM 돌리는 법 — Mac·Windows·Linux 통합 가이드

솔직히 말하면, 저는 한동안 "로컬 LLM? 그건 그래픽카드 좋은 사람들 얘기지"라고 넘겼습니다. 월 요금 내고 ChatGPT 쓰면 되는데 뭐하러 내 노트북을 고생시키나 싶었거든요. 그러다 외부로 못 보내는 회사 코드 한 뭉치를 요약해야 할 일이 생겼고, 반쯤 포기하는 심정으로 Ollama를 깔았습니다. 설치부터 첫 답변까지 10분이 안 걸렸습니다. 그 뒤로는 간단한 문서 정리나 코드 리뷰는 거의 로컬로 돌립니다.

Ollama가 뜬 이유는 단순합니다. 예전에 로컬 모델을 돌리려면 파이썬 가상환경 만들고, CUDA 버전 맞추고, 가중치 파일 받아서 경로 지정하고… 이 과정에서 대부분 포기했어요. Ollama는 이 전부를 명령어 한 줄 뒤로 숨겼습니다. ollama run 하나면 모델 다운로드부터 실행까지 알아서 합니다. Docker를 써봤다면 그 감각과 거의 같다고 보면 됩니다.

시작 전에 — 내 PC가 감당할 수 있을까

설치 자체는 쉬운데, 깔아놓고 "왜 이렇게 느리지" 하는 분이 많습니다. 원인은 거의 메모리입니다. 모델은 통째로 RAM(또는 GPU VRAM)에 올라가서 도는 구조라, 여유 메모리가 모델 크기보다 작으면 디스크를 긁으며 기어갑니다.

대략의 기준은 이렇습니다.

• 램 8GB: 3B급 소형 모델까지. 가볍게 맛보는 용도.
• 램 16GB: 7B~8B급이 쾌적. 대부분의 일상 작업은 여기서 해결됩니다.
• 램 32GB 이상 또는 VRAM 넉넉한 GPU: 13B 이상, 코딩 특화 모델까지.

맥은 애플 실리콘(M1 이상)이면 통합 메모리를 GPU처럼 써서 생각보다 잘 돕니다. 윈도우·리눅스는 엔비디아 GPU가 있으면 훨씬 빠르지만, 없어도 CPU만으로 작은 모델은 충분히 돌아갑니다. 디스크는 모델 하나당 2~5GB씩 먹으니 10GB 정도는 비워두세요.

OS별 설치 — Mac·Windows·Linux 한 번에

세 OS 모두 공식 사이트(ollama.com/download)에서 설치 파일을 받는 게 가장 깔끔합니다. 터미널이 익숙하면 아래 방법이 더 빠릅니다.

맥은 홈브루가 깔려 있으면 한 줄입니다.

brew install ollama

GUI 설치 파일을 받아 응용 프로그램으로 드래그해도 되고, 설치 스크립트를 써도 됩니다.

curl -fsSL https://ollama.com/install.sh | sh

윈도우는 ollama.com/download에서 OllamaSetup.exe를 받아 실행하면 끝입니다. 관리자 권한 없이 사용자 계정에 깔립니다. winget을 쓴다면 이렇게.

winget install Ollama.Ollama

리눅스는 설치 스크립트가 바이너리 다운로드, systemd 서비스 등록, GPU 감지까지 자동으로 해줍니다.

curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable ollama
sudo systemctl start ollama

설치가 끝났으면 어느 OS든 버전을 찍어 확인합니다. 숫자가 나오면 성공입니다.

ollama --version

첫 모델 받아서 돌려보기

이제 모델을 하나 받습니다. 처음이라면 가볍고 똑똑한 라마 3.2 소형 모델을 권합니다. 2GB 정도라 부담이 적어요.

ollama pull llama3.2

받았으면 바로 대화를 시작합니다. 아래 명령을 치면 프롬프트가 뜨고, 질문을 바로 입력할 수 있습니다. 끝낼 땐 /bye를 입력하면 됩니다.

ollama run llama3.2

사실 pull을 건너뛰고 run만 쳐도 됩니다. 없는 모델이면 알아서 먼저 받고 실행하거든요. 메모리가 16GB쯤 된다면 조금 더 큰 모델도 시도해 보세요. 알리바바의 퀜 2.5 7B나 구글 젬마 3 계열이 한국어 품질이 꽤 괜찮습니다.

ollama run qwen2.5:7b
ollama run gemma3:4b

받아둔 모델 목록과 지금 메모리에 올라가 있는 모델은 이렇게 확인합니다. 안 쓰는 모델은 지워서 디스크를 비우세요.

ollama list
ollama ps
ollama rm llama3.2

자주 막히는 지점 몇 가지

설치는 됐는데 외부 프로그램(예: 로컬 챗 UI)이 Ollama에 연결을 못 하는 경우가 흔합니다. 열에 아홉은 포트 문제입니다. Ollama는 기본적으로 11434 포트를 쓰는데, 다른 프로그램이 이미 그 자리를 차지했거나 접속 대상 주소가 틀린 겁니다. 누가 포트를 쓰는지 먼저 봅니다.

lsof -i :11434
netstat -aon | findstr :11434

다른 기기에서 접속하고 싶은데 거부당한다면, Ollama가 기본적으로 로컬에서만 응답하기 때문입니다. OLLAMA_HOST 환경변수를 0.0.0.0:11434로 바꿔주면 외부 접속이 열립니다. 단, 집 밖 네트워크에 함부로 열어두지는 마세요.

GPU가 있는데 안 쓰는 것 같다면 nvidia-smi로 드라이버와 인식 여부부터 확인합니다. 드라이버가 낡으면(엔비디아 기준 527 이상 권장) GPU를 못 잡습니다. "not enough memory"나 OOM 에러가 뜨면 답은 단순합니다. 더 작은 모델을 쓰거나, 컨텍스트 길이(num_ctx)를 줄이면 됩니다. 16GB 램에 13B 모델을 올리려다 터지는 경우가 대부분이에요.

여기서 한국 사용자 입장의 현실적인 조언을 덧붙이자면, 저는 "무조건 큰 모델"을 권하지 않습니다. 7B~8B 모델이면 한국어 요약·번역·간단한 코드 작업은 체감상 충분하고, 그보다 큰 모델은 노트북에서 응답이 뚝뚝 끊겨 오히려 생산성이 떨어집니다. 그리고 로컬 LLM의 진짜 가치는 "성능이 GPT보다 좋아서"가 아니라 "데이터가 내 PC 밖으로 안 나간다"는 데 있습니다. 사내 코드, 개인 메모, 민감한 문서를 다룰 때 이 차이는 생각보다 큽니다. 반대로 최신 지식이 필요한 검색형 질문은 여전히 클라우드 모델이 낫습니다. 둘을 용도에 맞춰 나눠 쓰는 게 제일 현실적입니다. 국내 개발자 커뮤니티에서도 "민감한 작업은 로컬, 범용 질문은 클라우드"로 역할을 나눠 쓴다는 얘기가 자연스럽게 나오는 편이고요.

한눈에 보는 체크리스트

• 내 램 확인 → 8GB면 3B, 16GB면 7~8B를 기준으로.
• 설치: 맥 brew install ollama / 윈도우 OllamaSetup.exe / 리눅스 설치 스크립트.
• 확인: ollama --version으로 숫자 출력되면 OK.
• 실행: ollama run llama3.2 한 줄이면 다운로드+대화 시작, 종료는 /bye.
• 관리: ollama list로 목록, ollama ps로 메모리 상태, ollama rm으로 정리.
• 막히면: 포트 11434, OLLAMA_HOST, GPU 드라이버, 그리고 모델 크기부터 의심.

처음 한 번만 넘기면 그다음부터는 정말 run 한 줄의 세계입니다. 혹시 설치하다 특정 OS에서 막힌 분, 아니면 "이 사양으로 어떤 모델이 돌아갈까?" 궁금한 분 계신가요? 댓글로 사양 적어주시면 같이 가늠해 봅시다. 비슷하게 삽질했던 경험담도 환영합니다.