Bulutu Bırak, Makinene Hükmet: 8GB VRAM ile Yerel LLM

Giriş

Yazdığınız kodları, logları veya altyapı detaylarını sürekli bulut sunucularına göndermek hem gizlilik açısından sıkıntılı hem de gereksiz bir dışa bağımlılık yaratır. Kendi makinenizde, internet bağlantısı olmadan da çalışan, tam yetkili bir LLM (Büyük Dil Modeli) kurmak sistem yönetimi ve geliştirme süreçleri için en temiz çözümdür.

Gereksinimler

• Linux tabanlı bir işletim sistemi (Arch, Debian vb.)
• 8GB VRAM kapasiteli ekran kartı (Örn: NVIDIA RTX 4060)
• Yük paylaşımı (Offloading) için güçlü bir işlemci (Örn: Ryzen 5 5600X)
• ollama — modelleri terminalden çekmek ve koşturmak için

Nasıl Çalışır?

Sistem temel olarak ağır yükü ekran kartının (GPU) 8GB VRAM'ine atar, sığmayan katmanları ise sistem RAM'ine ve işlemciye (CPU) devrederek darboğazı engeller. Arch Linux üzerinde kurulum ve çalıştırma süreci bu kadar basittir:

# Ollama'nın terminal üzerinden kurulması
paru -S ollama

# Servisin aktif edilip başlatılması
systemctl enable --now ollama

# Modelin indirilip doğrudan çalıştırılması
ollama run qwen3.5-coder

ollama run komutu, arka planda modeli çeker ve terminali doğrudan asistanla konuşabileceğiniz bir arayüze çevirir.

Modeller ve Optimizasyon

8GB VRAM ile 70B parametreli devasa modelleri açamazsınız ancak IT destek işleri ve kodlama için harika çalışan Qwen 3.5 Coder veya genel kullanım için Llama 3 (8B) gibi modelleri rahatlıkla uçurabilirsiniz.

Sisteminizi kilitlememek ve "Out of Memory" hatası almamak için şu optimizasyon kurallarını uygulamalısınız:

Format: .gguf (Hafifletilmiş model formatı)
Quantization (Sıkıştırma): Q4_K_M (4-bit sıkıştırma)
GPU Offloading: VRAM dolduğunda kalan katmanları işlemciye (CPU) pasla

Bu yapılandırmayla donanımınızın potansiyelini sonuna kadar kullanır ve tamamen size ait bir yapay zeka ortamı inşa etmiş olursunuz.