내 노트북으로
AI를 돌린다고?

1편에서 Qwen3.5의 스펙을 살펴봤다. 397B 파라미터, 256K 컨텍스트, 201개 언어 지원. 인상적인 숫자다. 하지만 한 가지를 짚고 넘어가야 한다. 이 모델을 내 컴퓨터에서 돌릴 수 있는가?

결론부터. 397B 풀 모델을 개인 PC에서 실행하는 것은 사실상 불가능하다. 이 모델을 8-bit 양자화로 돌리려면 VRAM(GPU 전용 메모리)이 512GB 필요하다. NVIDIA A100 GPU 7장 가격이다. 장당 수백만 원. 합치면 수천만 원이다.

하지만 Qwen3.5만 있는 것이 아니다. Qwen3 패밀리에는 크기가 다른 여러 모델이 있다. 같은 아키텍처를 공유하되, 파라미터 수를 줄인 경량 모델들이다. 이것들은 개인 PC에서 돌아간다.

핵심은 이것이다. 397B 풀 모델과 8B 모델은 같은 모델이 아니다. 8B는 397B에서 지식을 뽑아서 작게 만든 별개의 모델이다. 당연히 성능 차이가 있다. 하지만 8B도 2년 전의 GPT-3.5보다 대부분의 작업에서 낫다. 무료로, 인터넷 없이, 내 컴퓨터에서 돌아간다는 사실이 핵심이다.

로컬 AI를 실행하는 가장 쉬운 방법은 Ollama다. 설치부터 대화까지 5분이면 된다. Windows, macOS, Linux 모두 지원한다.

설치 과정은 3단계다.

이것이 전부다. 첫 실행 시 모델 파일을 다운로드하는 데 수 분이 걸리고, 이후에는 즉시 실행된다. RTX 4060 기준으로 초당 약 42토큰이 생성된다. 체감상 ChatGPT 무료 버전보다 빠르다.

더 큰 모델을 쓰고 싶다면 숫자만 바꾸면 된다.

Ollama가 편리한 이유는 또 있다. 로컬 API 서버가 자동으로 실행된다. 모델을 한 번 띄워놓으면 다른 프로그램에서 HTTP 요청으로 접근할 수 있다. 나중에 사이드 프로젝트에 AI를 붙일 때 이 점이 중요해진다.

로컬 AI는 프라이버시와 비용 면에서 강점이 있다. 하지만 모든 상황에서 로컬이 정답은 아니다. 로컬 8B 모델과 클라우드 API의 397B 풀 모델은 성능 차이가 분명히 존재한다.

그렇다면 API는 얼마나 드는가. Qwen3.5는 알리바바 클라우드(ModelStudio)에서 API로 제공된다. OpenAI 호환 형식이라 기존 코드를 거의 수정하지 않고 쓸 수 있다.

Qwen3.5 API의 가장 큰 장점은 비용이다. 전작 대비 60% 저렴하고, 동일 예산으로 처리할 수 있는 양이 8배 늘었다. OpenAI나 Anthropic API와 비교하면 토큰당 단가가 상당히 낮다. 성능은 프론티어 모델에 약간 밀리지만, 대부분의 실무 작업에는 충분하다.

상황별로 가장 현실적인 선택지를 정리한다. 자신의 목적과 장비를 아래에 대입해보면 된다.

한 가지 전략이 더 있다. 하이브리드다. 평소에는 로컬 모델로 빠르게 처리하고, 중요한 작업에만 API를 호출한다. 대부분의 일상 작업(요약, 번역, 간단한 질문)은 로컬 8B로 충분하다. API 비용을 90% 이상 절약하면서도, 필요할 때는 풀 모델의 성능을 쓸 수 있다.