Komputer seperti apa yang dibutuhkan untuk menjalankan LLM secara lokal?

Paling baik ada GPU; komputer biasa juga bisa. Setelah terpasang, node memberi tahu Anda persis apa yang bisa dikerjakan komputer ini.

Konfigurasi yang disarankan

Konfigurasi yang disarankan
GPU NVIDIA (VRAM 8 GB atau lebih)TerbaikObrolan · gambar · edit gambar · suara · videoTeruji
Workstation AI seperti DGX SparkTerbaikGambar · video · obrolanTeruji
Mac dengan Apple seri MTerbaikObrolan · gambar · suaraTeruji
GPU AMD (Linux)DisarankanObrolan · gambarTeruji
Komputer biasa / laptopBisa jalanTugas ringan seperti obrolan dan suara
Ponsel / tabletPakai komputer di rumah atau cadangan komputasi

Daya kurang?

Saat komputer Anda tidak sanggup mengerjakan jenis tugas tertentu, ia otomatis pindah ke cadangan komputasi jaringan.

Pertanyaan umum

Terkait

Komputer seperti apa yang dibutuhkan untuk menjalankan LLM secara lokal?