로컬에서 LLM을 돌리려면 어떤 컴퓨터가 필요할까요?
GPU가 있으면 가장 좋지만 일반 컴퓨터에서도 돌아갑니다. 설치하면 노드가 이 컴퓨터로 할 수 있는 일을 하나씩 알려 줍니다.
추천 구성
| 기기 | 추천도 | 할 수 있는 일 | |
|---|---|---|---|
| NVIDIA GPU(VRAM 8GB 이상) | 최적 | 대화 · 이미지 · 이미지 편집 · 음성 · 동영상 | 실측 기록 있음 |
| DGX Spark 같은 AI 워크스테이션 | 최적 | 이미지 · 동영상 · 대화 | 실측 기록 있음 |
| Apple M 시리즈 Mac | 최적 | 대화 · 이미지 · 음성 | 실측 기록 있음 |
| AMD GPU(Linux) | 추천 | 대화 · 이미지 | 실측 기록 있음 |
| 일반 컴퓨터 / 노트북 | 실행 가능 | 대화, 음성 같은 가벼운 작업 | |
| 휴대폰 / 태블릿 | 집 컴퓨터나 연산력 비축을 사용 |
성능이 부족하다면?
내 컴퓨터로 할 수 없는 종류의 작업은 자동으로 네트워크 전체의 연산력 비축으로 넘어갑니다.
자주 묻는 질문
네. 일반 컴퓨터도 대화나 음성 같은 가벼운 작업은 할 수 있습니다. 이미지와 동영상에는 GPU가 있는 컴퓨터를 추천합니다.
됩니다. Apple M 시리즈 Mac은 대화, 이미지, 음성을 처리할 수 있습니다.
휴대폰에는 노드를 설치할 수 없지만, 집 컴퓨터나 연산력 비축의 힘을 쓸 수 있습니다.
설치하면 노드가 GPU와 메모리에 맞춰 할 수 있는 작업을 하나씩 보여 줍니다.
관련 페이지
로컬에서 LLM을 돌리려면 어떤 컴퓨터가 필요할까요?