NVIDIA 무료 LLM을 VSCode 안에서 쓰기

🔚 신용카드 없이 전화번호 인증만으로 최신 LLM을 무료로 쓰는 방법 ?

그리고 그 모델을 VSCode 안에서 코딩 에이전트로 굴릴 수 있어요. 그 방법을 알아볼게요.

API Provider : OpenAI Compatible
Base URL     : https://build.nvidia.com/models?orderBy=weightPopular%3ADESC
API Key      : nvapi-...
Model ID     : qwen/qwen2.5-coder-32b-instruct

😵 왜 이걸 찾게 됐나

Claude나 다른 AI를 쓰다 보면 한도에 걸립니다. 한창 작업 중에 “잠시 후에 다시 시도하세요”가 뜨면 흐름이 끊겨요. 결제를 하나 더 늘리자니 지금 제 수준에 그것도 답은 아니고요. (본격적으로 프로덕트를 만들기 보단 학습과 실험용으로 쓰는 경향이 더 강한 상태예요)

그래서 비상용 백업 모델을 하나 두기로 했습니다. 평소엔 안 쓰다가 한도에 걸렸을 때만 갈아타는 용도로요. 무료면 더 좋고요. 고성능이면 더 좋겠죠? 그런데 마침 오늘 본 글이 Nvidia NIM API를 다루고 있었어요. 마침 이거다 싶었습니다.

📰 원문에서 알게 된 것

출발점은 이 글이었어요. LLMOps#1: NVIDIA NIM API 이용하기

NVIDIA NIM은 엔비디아가 자기 GPU에 맞춰 최적화해둔 모델을 API로 빌려주는 서비스입니다. 원래는 기업용 유료 서비스였는데, 개발자가 평가해볼 수 있게 무료 API를 열어놨어요.

정리하면 이렇습니다.

항목	내용
가입	build.nvidia.com에서 전화번호 인증
비용	무료. 신용카드를 안 넣으니 청구될 일도 없음
키 수명	6개월
모델 수	100개 이상. 텍스트, 임베딩, 이미지, 음성

무료인데 왜 카드를 안 받나 싶었는데, 대신 전화번호로 사람을 확인하는 방식이더라고요. 어뷰징만 막으면 되니까요.

OpenAI 호환 기능

기술적으로 제일 중요한 건 이 한 줄입니다. (링크가 아니예요🙅‍♀️)

https://integrate.api.nvidia.com/v1

NVIDIA가 OpenAI와 똑같은 규격으로 말을 받아준다는 뜻이에요. 콘센트에 비유하면, 나라마다 플러그 모양이 다른데 NVIDIA가 “우리도 그냥 220V 표준 쓸게요” 한거죠!

이게 왜 중요하냐면, 요즘 개발 도구는 대부분 OpenAI 규격에 맞춰 만들어져 있다고합니다. 그래서 도구를 안 바꾸고 주소만 바꿔 끼우면 다른 회사 모델이 그대로 돌아갑니다. 코드를 고칠 필요가 없어요.

🔧 그래서 VSCode에 적용해봣습니다.

원문은 파이썬 코드로 API를 부르는 데까지 다뤄요. 저는 여기서 코딩 에이전트가 이 모델을 쓰게 만들면 어떨까? 란 생각이 들었어요.

VSCode에는 Cline이라는 확장이 있어요. 채팅만 하는 게 아니라 프로젝트 파일을 직접 읽고 고치고 터미널 명령까지 실행하는 에이전트입니다. 마켓플레이스에서 Cline을 검색해 설치하면 돼요.

VS Code 마켓플레이스(Ctrl + Shift + X)에서 Cline을 검색해 설치
1.Cline 설정 메뉴 열기: 설치 완료 후 왼쪽 사이드바의 Cline 아이콘을 누르고, 오른쪽 위의 상단 톱니바퀴(Settings) 아이콘을 클릭
.API Provider 및 정보 입력: (제일중요!) 설정 화면에서 각 항목을 아래처럼 맞춰줍니다.

칸	넣을 값
API Provider	`OpenAI Compatible`
Base URL	`https://integrate.api.nvidia.com/v1`
API Key	발급받은 `nvapi-...` 키
Model ID	`qwen/qwen2.5-coder-32b-instruct`

모델을 바꾸고 싶으면 Model ID 칸만 갈아끼우면 됩니다. 제가 골라둔 세 개는 이거예요.

코딩용    qwen/qwen2.5-coder-32b-instruct
고성능    nvidia/nemotron-3-super-120b-a12b
범용      meta/llama-3.3-70b-instruct

설정 저장 후 바로 채팅창에서 사용하실 수 있습니다. 모델을 바꿀 때는 Model ID만 다른 모델명으로 교체하시면 됩니다.

❌ Codex와 Claude에서는 실패가 아닌 보류

같은 방식으로 Codex CLI에도 붙이려고 했습니다. 터미널에서 환경변수만 바꾸면 될 줄 알았어요.

$env:OPENAI_API_BASE="https://integrate.api.nvidia.com/v1"
$env:OPENAI_API_KEY="nvapi-..."
$env:OPENAI_MODEL="qwen/qwen2.5-coder-32b-instruct"

안 됩니다. Codex CLI가 환경변수를 그냥 무시하고 자기 기본 모델로 실행돼요. 최신 버전은 내부 설정 파일이나 공식 엔드포인트만 바라보도록 고정돼 있더라고요.

우회하려면 중간에 통역사를 하나 세워야 합니다. LiteLLM이라는 프록시인데, 터미널 두 개가 필요해요.

# 터미널 1 - 프록시를 띄운다
pip install "litellm[proxy]" websockets
litellm --model openai/qwen/qwen2.5-coder-32b-instruct `
        --api_base https://integrate.api.nvidia.com/v1 `
        --port 1000

# 터미널 2 - Codex가 프록시를 보게 한다
$env:OPENAI_API_BASE="http://localhost:1000/v1"
$env:OPENAI_API_KEY="dummy"

이러면 되긴 했어요. 화면에는 여전히 원래 모델 이름이 뜨지만 실제 요청은 프록시를 거쳐 NVIDIA로 가요. 프록시 터미널에 로그가 찍히니까 진짜 가는지 바로 확인할 수 있고요.

그런데 저는 여기서 하지 않기로 결정했어요. 터미널 두 개를 계속 띄워두고 모델 바꿀 때마다 프록시를 재시작하는 건, 비상용 백업치고는 너무 번거로워요. VSCode를 IDE 메인으로 작업할거고, Cline이 있는데 굳이요.

그래서 제 결론은, VSCode기반의 작업을 할거면 VSCode의 Cline, CLI 중심으로 일할 거면 LiteLLM 프록시. 저는 전자를 골랐어요.

💸 14.6k가 떠서 놀랐던 것

설정하고 첫 대화를 걸었더니 우측 상단에 14.6k라는 숫자가 떴어요. 순간 “어? 벌써 만 사천 토큰을 썼다고? 돈 나가는 거 아냐?” 싶었는데요 사실,

** 이건 돈이 아니에요.** 이 텍스트는 AI가 지금 기억하고 있는 대화의 용량이에요. 옆에 $0.0000이 같이 떠 있는 게 진짜 비용이고요.

숫자가 큰 이유도 있어요. Cline 같은 에이전트는 “안녕” 한 마디를 보내도 프로젝트 파일 구조와 동작 규칙을 배경 정보로 같이 보낸다고 합니다. 그래서 기본 10k에서 15k부터 시작해요.

128k를 다 채우면 AI가 앞부분을 잊기 시작해요. 그럴 땐 오른쪽 위 + 버튼으로 새 대화를 열면 0k로 리셋됩니다.

⚠️ Auto-Approve는 조심하세요!

Cline 설정에는 승인 절차 없이 바로 처리하는 ‘자동 승인(Auto-Approve)’ 옵션이 있어요. 파일 읽기, 수정, 터미널 명령 실행을 확인 창 없이 진행해주는 기능인데요.

저는 Read files 정도만 켜두는 걸 추천해요. 파일 수정이나 터미널 명령어까지 자동으로 넘겨버리면, 혹시나 AI가 엉뚱한 코드를 건드려도 바로 알아채기 어렵더라고요. 읽기만 자동 승인으로 해둬도 작업 체감 속도는 충분히 빨라집니다!

💡 Cline을 더 잘 쓰기 위한 소소한 팁

Cline은 단순한 ’채팅형 AI’가 아닙니다. 내 프로젝트 디렉터리를 직접 읽고 파일 생성/수정부터 터미널 명령 실행까지 직접 수행하는 에이전트(Agent) 도구예요.

알아두면 유용한 핵심 사용법 두 가지입니다.

파일/폴더 콕 집어 지정하기 (@ 기호 활용) 채팅창에 @를 입력하면 프로젝트 내의 특정 파일이나 폴더를 바로 선택할 수 있습니다.

예시: @src/main.py 이 파일의 예외 처리 로직 수정해줘
터미널 명령어 자동 실행 (Terminal Execution) 코드 수정 후 패키지 설치(pip install, npm install)나 테스트 실행(pytest)이 필요하면, AI가 알아서 터미널 명령어를 제안합니다. 하단의 Run Command 버튼만 가볍게 눌러주면 터미널에서 바로 슉 실행돼요!

💭 마무리

제일 좋았던 건 결제를 하나도 안 늘리고 백업이 생겼다는 거예요. 한도에 걸려도 이제 당황하지 않아요. Cline 열고 계속하면 되니까요!

그리고 Codex에서 실패한 게 오히려 수확이었어요. “환경변수만 바꾸면 되겠지”라는 짐작이 틀렸다는 걸 알았고, 도구마다 설정을 받아들이는 방식이 다르다는 것도 배웠습니다.

이로서 든든한 무료 로컬 LLM 확보 완료!! 👏