लोकल LLM चलाने के लिए कैसा कंप्यूटर चाहिए?
GPU सबसे अच्छा है; साधारण कंप्यूटर भी चलते हैं। इंस्टॉल होने के बाद नोड ठीक-ठीक बताता है कि यह कंप्यूटर क्या कर सकता है।
सुझाए गए सेटअप
| डिवाइस | सुझाव | क्या कर सकता है | |
|---|---|---|---|
| NVIDIA GPU (8 GB VRAM या ज़्यादा) | सबसे बढ़िया | चैट · चित्र · चित्र संपादन · आवाज़ · वीडियो | परखा हुआ |
| DGX Spark जैसे AI वर्कस्टेशन | सबसे बढ़िया | चित्र · वीडियो · चैट | परखा हुआ |
| Apple M-सीरीज़ वाला Mac | सबसे बढ़िया | चैट · चित्र · आवाज़ | परखा हुआ |
| AMD GPU (Linux) | सुझाया गया | चैट · चित्र | परखा हुआ |
| साधारण कंप्यूटर / लैपटॉप | चलता है | चैट और आवाज़ जैसे हल्के काम | |
| फ़ोन / टैबलेट | घर का कंप्यूटर या कंप्यूटिंग रिज़र्व इस्तेमाल करें |
शक्ति कम पड़ रही है?
जब आपका कंप्यूटर किसी तरह का काम न कर सके, तो वह अपने-आप नेटवर्क के कंप्यूटिंग रिज़र्व पर चला जाता है।
अक्सर पूछे जाने वाले सवाल
हाँ। साधारण कंप्यूटर चैट और आवाज़ जैसे हल्के काम कर लेते हैं; चित्र और वीडियो के लिए GPU सुझाया जाता है।
हाँ। Apple M-सीरीज़ वाले Mac चैट, चित्र और आवाज़ सँभाल लेते हैं।
फ़ोन पर नोड नहीं चलता, लेकिन फ़ोन आपके घर के कंप्यूटर या कंप्यूटिंग रिज़र्व की शक्ति इस्तेमाल कर सकता है।
इंस्टॉल होने के बाद नोड GPU और मेमोरी के हिसाब से उन कामों की सूची दिखाता है जो यह कर सकता है।
संबंधित
लोकल LLM चलाने के लिए कैसा कंप्यूटर चाहिए?