Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Sinirsel İşleme Birimleri (NPU), derin öğrenme çıkarım (inference) iş yükleri için özel olarak tasarlanmış, veri akışı odaklı (dataflow) ve yüksek derecede paraleldir. Bu inceleme, uç cihazlarda (edge devices) NPU mimarisinin ontolojik yerini, TOPS (Trillion Operations Per Second) metriklerinin teorik ve pratik ayrışmasını ve bu performans göstergelerinin Büyük Dil Modelleri (LLM) yerel çalıştırma kapasitesi üzerindeki belirleyici etkisini kapsar. Metodolojik çerçeve; donanım seviyesinde matris çarpım birimleri (MAC), bellek hiyerarşisi (SRAM/LPDDR5X), veri tipleri (INT8, INT4, FP16, BF16) ve derleyici/çalışma zamanı (runtime) optimizasyonlarının (TensorRT, ONNX Runtime, MNN, CoreML) üçgen etkileşimini merkezine alır. Temel yaklaşım, “Brute-force” TOPS pazarlama retoriğinden uzaklaşıp, bellek bant genişliği (Memory Bandwidth) ve operasyonel yoğunluk (Operational Intensity) kısıtlamaları altında gerçekleştirilebilir etkin performansı (Effective TOPS) nicellemektir. Bu bağlamda, parametre sayısı 1B-7B aralığındaki quantize edilmiş LLM’lerin (Llama 3, Phi-3, Gemma, Qwen 2.5) NPU üzerinde token/saniye (tok/s), ilk token gecikmesi (TTFT) ve enerji başına performans (Perf/W) metrikleriyle değerlendirilmesi hedeflenmiştir.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
NPU mimarisinin çekirdeği, Von Neumann darboğazını aşmak için “Hareketli Veri, Duraklı İşlem” (Moving Data, Stationary Compute) prensibine dayanan Sistolik Diziler (Systolic Arrays) veya VLIW/SIMD tabanlı Vektör İşlemcilerdir. Temel işlem birimi, birikimli çarpma-toplama (Multiply-Accumulate – MAC) operasyonudur; modern NPU’lar (Apple Neural Engine, Qualcomm Hexagon, MediaTek APU, Intel NPU, AMD XDNA, Google Tensor TPU) döngü başına binlerce MAC işlemini INT8/INT4 hassasiyetinde gerçekleştirir. Bellek hiyerarşisi kritik öneme sahiptir: Büyük L2/L3 SRAM havuzları (örn. Apple M-serisi 32-64MB, Snapdragon 8 Gen 3 ~3-4MB NPU SRAM), model ağırlıklarının ve aktivasyon haritalarının (KV Cache) çip içi (on-chip) tutulmasını sağlayarak DRAM erişimini ve dolayısıyla gecikmeyi/enerjiyi minimize eder. Çalışma mekanizması; modelin graf temsili (Graph IR), operatör birleştirme (Operator Fusion – Conv+Bias+ReLU), katmanlama (Layer Pipelining) ve dinamik şekil (Dynamic Shape) destekli derleyici akışlarıyla donanım kaynaklarına statik/dinamik eşlenir. KV Cache yönetimi (Paged Attention, Quantized KV Cache), uzun bağlam (Long Context) senaryolarında SRAM/DRAM sınırını belirleyen en kritik mikro-mimari faktördür.
Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?
Performans değerlendirmesinde endüstri standardı benchmark paketleri ve metrikler referans alınır. MLPerf Inference (Edge/Client) kategorileri (ResNet-50, BERT-99, GPT-J, Llama 2 7B), donanım bağımsız, yeniden üretilebilir karşılaştırma zemini sağlar. AI Benchmark Alpha / Pro, mobil/edge NPU’lar için standartlaştırılmış skorlama sunar. TOPS Ölçüm Standardizasyonu: Teorik Pico TOPS (Frekans x MAC Sayısı x 2) ile Gerçekçi TOPS (Gerçek iş yükü altındaki sustained throughput) ayrımı zorunludur; hassasiyet (Precision) belirtmeden (INT8 vs INT4 vs FP16) TOPS rakamı anlamsızdır. Bellek Bant Genişliği (GB/s): LPDDR5X (8533/9600 Mbps) ve LPCAMM2 modülleri, bant genişliği kısıtlı (Memory-bound) LLM çıkarımlarında asıl darboğazdır; Roofline Modeli ile hesaplanmalıdır. Quantizasyon Standartları: GPTQ, AWQ, GGUF (llama.cpp), EXL2 formatları ve per-channel/per-group quantizasyon şemaları (G128, G64), doğruluk (Perplexity) ve hız dengesi için standartlaştırılmıştır. Yazılım Yığını (SW Stack): ONNX Runtime / ExecuTorch / MNN / TensorRT-LLM / llama.cpp backend’leri, NPU sürücüleri (QNN, CoreML, OpenVINO, DirectML) ile donanım soyutlama katmanını oluşturur.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Olcut / Deger | Metrik | Stratejik Etki |
|---|---|---|---|
| Teorik Pico TOPS (INT8) | 40 – 120 TOPS (Flagship 2024/25) | TOPS | Pazarlama üst sınırı; gerçek yükte %30-60 verimlilik. |
| Etkin TOPS (LLM Çıkarım) | 15 – 50 eTOPS (Sustained) | eTOPS | Gerçek dünya token hızı (tok/s) belirleyicisi. |
| Bellek Bant Genişliği (Sistem) | 68 – 153 GB/s (LPDDR5X 8/9.6GHz) | GB/s | Kritik Darboğaz: LLM çıkarımlı Memory-Bound’dır. |
| NPU Önbellek / SRAM Kapasitesi | 2 MB – 64 MB (Mimariye Göre) | MB | KV Cache çip içi kalırsa gecikme düşer, enerji verimliliği artar. |
| Desteklenen Hassasiyetler | INT4 / INT8 / FP16 / BF16 / FP8 | Veri Tipi | INT4/GEMM desteği model boyutunu %50 küçültür, bant genişliği tasarrufu. |
| Maks. Model Parametresi (INT4) | 3B – 14B Parametre (RAM’e Göre) | Milyar Param | Cihaz RAM’i (16/24/32GB) NPU’dan önceki sınırlayıcı faktördür. |
| Token Üretim Hızı (Llama 3 8B INT4) | 15 – 50 tok/s | tok/s | Kullanıcı deneyimi (UX) için >20 tok/s hedeflenmelidir. |
| İlk Token Gecikmesi (TTFT, 1k ctx) | 200 – 800 ms | ms | Gerçek zamanlı sohbet/araç kullanımı için <500 ms kritik. |
| Enerji Verimliliği (Perf/W) | 5 – 25 tok/s/W | tok/s/W | Fanless/Tablet/Phone form faktöründe batömrü ve ısınma belirler. |
| KV Cache Quantizasyonu | FP16 / INT8 / INT4 (KV) | Bit | Bağlam penceresi (Context Window) genişletmede RAM tasarrufu %50-75. |
| Derleyici Destekli Op Fusion | Evet / Kısmi / Hayır | Boolean | Bellek trafiği azaltma, gecikme düşürme anahtarı. |
| Uzun Bağlam Desteği (>32k) | Paged Attention / Ring Attention | Teknik | NPU SRAM yetersizse DRAM swap gecikmesi TTFT’yi katlar. |
| Çoklu Modallik (VLM) Desteği | ViT Encoder + LLM Pipeline | FPS/tok/s | Görsel işleme NPU’ya, metin NPU/CPU’ya bölünür; bant genişliği 2x artar. |
| Geliştirici Erişimi (SDK/API) | Açık (ONNX/TFLite) / Kapalı (Vendor) | Erişim Seviyesi | Taşınabilirlik (Portability) ve model optimizasyon derinliğini belirler. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
NPU tabanlı yerel LLM çıkarımı, veri gizliliği (Privacy), gecikme toleransı (Latency Sensitivity) ve bağlantısız çalışma (Offline-First) gerektiren senaryolarda vazgeçilmezdir. Mobil Asistanlar & Klavye Tahmini: Snapdragon 8 Gen 3 / Dimensity 9300 / Apple A18/M4 NPU’ları, klavyede yeni nesil tam cümle tamamlama, çeviri ve özetleme için 7B modelleri (Gemma 2B/7B, Phi-3 Mini) 20-40 tok/s hızıyla çalıştırır. PC/AI PC (Copilot+): Intel Core Ultra (Meteor Lake/Lunar Lake – NPU 3.0/4.0 ~48 TOPS), AMD Ryzen AI 300 Serisi (XDNA 2 ~50 TOPS), Snapdragon X Elite (Hexagon ~45 TOPS) Windows Studio Effects, Recall (Vektör Arama), yerel kod asistanı (CodeLlama/StarCoder) için NPU’yu CPU/GPU’dan ayırarak batarya ömrünü %20-30 uzatır. Endüstriyel IoT & Robotik: Jetson Orin / Qualcomm RB5 / MediaTek Genio, yerel VLM (LLaVA, Qwen-VL) ile görsel denetim, anomali tespiti ve doğal dil komutlama gerçekleştirir. Otomotiv (Cockpit/ADAS): NVIDIA Thor / Qualcomm Snapdragon Ride, sürücü izleme (DMS) ve kabin asistanı için deterministik gecikme (TTFT < 200ms) sağlar. Kritik Vaka: 16GB RAM’li bir laptopta INT4 quantized Llama 3 8B, NPU’da 35 tok/s, CPU’da 8 tok/s, GPU’da 25 tok/s verirken; NPU sistem gücünü 15W’dan 8W’a çeker. Bu, “Always-On” asistanlık için tek çözümdür.
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
1. Bellek Bant Genişliği Duvarı (Memory Wall): LLM çıkarımlı hesaplama yoğunluğundan (Compute-bound) ziyade bellek bant genişliği yoğunluğundadır (Memory-bound). NPU TOPS artsa bile LPDDR5X 128-bit ~100GB/s, 7B modelde >30 tok/s için teorik üst sınırdır. Çözüm: LPCAMM2 (128-bit, düşük gecikme), 3D Stacked DRAM (HBM benzeri mobil paketler), KV Cache INT4/INT8 Quantizasyonu, Speculative Decoding (Küçük taslak model + Büyük doğrulama modeli). 2. SRAM Yetersizliği ve KV Cache Thrashing: Uzun bağlam (32k-128k) KV Cache’i NPU SRAM’ına sığmaz, DRAM’a kaçar, gecikme patlar. Çözüm: Paged Attention (vLLM/SGLang adaptasyonu edge’e), Sliding Window Attention, Ring Attention (Çoklu cihaz). 3. Quantizasyon Kaybı ve Doğruluk: INT4/INT2 Post-Training Quantization (PTQ), reasoning yeteneğini bozar. Çözüm: AWQ (Activation-aware Weight Quantization), GPTQ, QLoRA tabanlı Quantization-Aware Training (QAT) edge için. 4. Yazılım Parçalanması (Fragmentation): Her satıcı (QNN, CoreML, OpenVINO, DirectML, MNN) farklı IR ve operatör seti sunar. Çözüm: ExecuTorch / ONNX Runtime WebNN / MLIR tabanlı ortak ara temsiller (Dialects) ile taşınabilir derleyici altyapısı. 5. Isınma ve Throttling: Fanless cihazlarda NPU sustained yükte 2-3 dakika sonra throttle eder. Çözüm: Dynamic Voltage Frequency Scaling (DVFS) aware scheduling, iş yükü CPU/GPU/NPU’ya heterojen dağılım (Workload Steering).
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
2024-2025 Kırılma Noktaları: FP8 (E4M3/E5M2) Destek: Blackwell (GB10/GB200) ve yeni nesil mobil NPU’lar (Örn: Snapdragon 8 Gen 4 / Dimensity 9400 tahmini) FP8 GEMM desteğiyle eğitim hassasiyetinde çıkarım sunuyor; INT4 quantizasyonuna göre %1-2 doğruluk kaybı ile %2x hız/bant kazancı. Mixture of Experts (MoE) Edge Dağıtımı: Llama 3.1 405B yerine Mixtral 8x7B, Phi-3.5 MoE gibi seyrek aktivasyonlu modeller, NPU’da sadece 2 expert aktif tutularak 70B performansı 14B maliyetinde veriyor. Speculative Decoding Donanım Hızlandırma: Taslak model (Draft) NPU’da, hedef model (Target) GPU/NPU’da paralel koşarak token başına gecikmeyi %40-60 azaltıyor. Küçük Dil Modelleri (SLM) Egemenliği: Microsoft Phi-3.5 (3.8B), Google Gemma 2 (2B/9B), Qwen 2.5 (0.5B-7B), Apple OpenELM; 1-4B parametre aralığında GPT-3.5 seviyesi performans vererek NPU SRAM’ına tam sığan “Native Edge Model” paradigmasını yaratıyor. 5-10 Yıllık Projeksiyon: In-Memory Computing (IMC) / Compute-in-Memory (CIM): SRAM/ReRAM/MRAM hücreleri içinde analog/karma MAC işlemi ile veri hareketi sıfırlanacak; 100-500 TOPS/W hedeflenecek. Heterojen Bütünleşik Çipler (Chiplets): NPU, CPU, GPU, Memory Controller ayrı chiplet’lerde, UCIe/BoW ile bağlanarak modüler ölçeklenebilirlik. Kişiselleştirilmiş Sürekli Öğrenme (On-Device Continual Learning): LoRA/Adapter tabanlı fine-tuning NPU’da düşük hassasiyetle (INT8/FP8) gerçek zamanlı yapılacak; veri cihazdan çıkmayacak.
Bölüm 8: Merak Edilen Sorular ve Cevaplar
Soru 1: TOPS değeri yüksek bir NPU, mutlaka daha hızlı LLM çalıştırır mı?
Hayır. TOPS (Teorik Pico TOPS) sadece makas hızıdır. LLM çıkarımlı Memory-Bound (Bant Genişliği Kısıtlı) bir işlemdir. 100 TOPS’lu bir NPU, 50 GB/s bant genişliğine sahipse 50 TOPS’lu ama 150 GB/s bant genişliğine sahip bir NPU’dan LLM’de daha yavaş olabilir. Kritik metrik Etkin TOPS (eTOPS) ve Bellek Bant Genişliği / TOPS Oranıdır.
Soru 2: 8GB RAM’li bir cihazda 7B parametreli model çalışır mı?
Çok Zor / Verimsiz. 7B model INT4 quantizasyonunda ~3.5-4GB model ağırlığı + ~1-2GB KV Cache (2k context) + İşletim Sistemi/Uygulama Payı (~3-4GB) = Toplam >8GB gerektirir. Sistem Swap (UFS/SSD) kullanırsa token hızı 1-2 tok/s’ye düşer. Minimum 12-16GB RAM (Unified Memory mimarilerinde Apple M-serisi, Snapdragon X Elite) veya 24GB+ (dGPU/PC) önerilir.
Soru 3: NPU, GPU ve CPU arasındaki LLM performans farkı nedir?
CPU: Düşük paralellik, yüksek gecikme, esnek kontrol akışı. GPU: Yüksek paralellik, yüksek bant genişliği (VRAM), yüksek güç tüketimi (25-50W+), fan gerektirir. NPU: Düşük güç (1-5W), deterministik gecikme, özel veri yolları (SRAM), fanless için ideal. Sonuç: Fanless/Tablet/Phone’da NPU tek çözümdür; İş istasyonunda GPU (VRAM avantajı) büyük modellerde (30B+) hala kraldır.
Soru 4: INT4 Quantizasyon model zekasını bozar mı?
Evet, belirli görevlerde. Basit sohbet, özetleme, çeviri INT4’te neredeyse kayıpsızdır. Ancak kod üretimi (Coding), karmaşık mantık (Reasoning), çok adımlı planlama görevlerinde INT4, FP16/BF16’ya göre %5-15 performans kaybı (Pass@1, HumanEval, MMLU skorlarında) yaratır. Çözüm: AWQ / GPTQ / QAT yöntemleri veya MoE modelleri (sadece aktif parametreler quantize edilir).
Soru 5: “Unified Memory” (Birleşik Bellek) NPU performansı için neden kritiktir?
Sıfır Kopyalama (Zero-Copy). Ayrı VRAM (dGPU) ve Sistem RAM (CPU/NPU) mimarilerinde model ağırlıkları PCIe üzerinden kopyalanmalıdır (Bant: 32-64 GB/s, Gecikme: µs-ms). Apple M-serisi, Snapdragon X Elite, Intel Lunar Lake gibi Unified Memory mimarilerinde NPU, CPU ve GPU aynı fiziksel LPDDR5X havuzunu paylaşır; veri kopyalanmaz, sadece işaretçi (pointer) geçirilir. Bu, TTFT’yi %50-70 azaltır ve sistem güçünü düşürür.
Soru 6: Yerel LLM için hangi yazılım çerçevesi (Runtime) en iyisidir?
Tek “en iyi” yok, donanıma göre değişir:
* Apple Silicon: llama.cpp (Metal backend) / MLX / CoreML (En optimize).
* Qualcomm (Windows/Android): ONNX Runtime QNN EP / ExecuTorch / llama.cpp (Hexagon delegate).
* Intel/AMD (x86 Windows/Linux): OpenVINO (Intel NPU/GPU) / DirectML / ONNX Runtime DML EP / llama.cpp (Vulkan/Metal).
* NVIDIA Jetson / dGPU: TensorRT-LLM / llama.cpp (CUDA) / vLLM / SGLang (Sunucu/Çoklu istek için).
* Taşınabilirlik: llama.cpp (GGUF formatı) en geniş donanım yelpazesini (CPU/GPU/NPU hybrid) tek binary ile kapsar.
Bölüm 9: Bilmeniz Gereken Temel Terimler
TOPS (Trillion Operations Per Second): Saniyede trilyon operasyon. NPU performansının ham teorik ölçütüdür; hassasiyet (INT8, INT4, FP16) belirtilmeden karşılaştırma yapılamaz. Etkin TOPS (Effective TOPS), bellek ve yazılım gecikmeleri hesaba katılarak elde edilen gerçek çıkarımdır.
MAC (Multiply-Accumulate Unit): Çarpma-Birmeleme Birimi. Sinir ağlarının temel işlemi (w*x + b) için donanımda tek döngüde gerçekleştirilen atomik hesaplama birimidir. NPU TOPS değeri = MAC Sayısı x 2 (FMA) x Frekans formülüyle hesaplanır.
KV Cache (Key-Value Cache): Transformer mimarisinde Attention mekanizmasının her token üretiminde önceki token’ların Key ve Value vektörlerini saklayarak yeniden hesaplamayı önleyen bellek tamponudur. Boyutu: 2 x Katman Sayısı x Bağlam Uzunluğu x Gizli Boyut x Hassasiyet Baytı. Uzun bağlamda RAM’in en büyük tüketicisidir.
Quantizasyon (Quantization): Model ağırlıklarını ve aktivasyonları FP32/FP16’dan INT8/INT4 gibi düşük hassasiyetli tamsayı formatlarına dönüştürme işlemidir. Model boyutunu %50-75 küçültür, bellek bant genişliği gereksinimini azaltır, NPU INT8/INT4 MAC birimlerini kullanarak hızı 2-4 kat artırır.
Roofline Model: Bir donanımın hesaplama performansının (TOPS) ve bellek bant genişliğinin (GB/s) kesişimiyle bir iş yükünün (Operational Intensity – FLOP/Byte) “Compute-bound” mu “Memory-bound” mu olduğunu gösteren görsel/analitik modeldir. LLM çıkarımlı neredeyse her zaman Memory-bound bölgesindedir.
Speculative Decoding: Küçük ve hızlı bir “Taslak Model” (Draft Model) birden fazla token tahmin eder, büyük “Hedef Model” (Target Model) bu tokenları tek geçişte doğrular. Kabul edilen token sayısı kadar hız kazancı sağlar (örn. 2-3x hızlanma), NPU’da taslak model, GPU/NPU’da hedef model koşturulur.
Unified Memory (Birleşik Bellek / Paylaşımlı Bellek): CPU, GPU, NPU ve Medya motorlarının fiziksel olarak aynı DRAM havuzunu (LPDDR5X) adreslediği, veri kopyalama (memcpy) gerektirmeyen mimari. Apple M-serisi, Qualcomm Snapdragon, Intel Lunar Lake, AMD Ryzen AI (Strix Point) bu mimariyi kullanır.
Operator Fusion (Operatör Birleştirme): Derleyicinin ardışık operatörleri (örn. Convolution + BatchNorm + ReLU + Add) tek bir çekirdek (Kernel) fonksiyonunda birleştirerek ara sonuçların DRAM’a yazılıp okunmasını engellemesi, SRAM kullanımını optimize etmesidir.
Bölüm 10: Özet ve Çıkarılması Gereken Dersler
NPU mimarisi, uç cihazlarda yapay zekayı “bulut bağımlılığı”nden kurtarıp “yerel zeka”ya dönüştüren stratejik donanım katmanıdır. Analizlerimiz, ham TOPS rekabetinin anlamsızlığını; asıl farklılaştırıcının Bellek Bant Genişliği (LPDDR5X/6, LPCAMM2), Çip İçi SRAM Kapasitesi (KV Cache için), Desteklenen Hassasiyet Çeşitliliği (FP8/INT4/FP16) ve Yazılım Yığınının Olgunluğu (Derleyici/Runtime) olduğunu ortaya koymuştur. Karar vericiler için yol haritası şöyledir: Kısa Vadede (0-12 Ay): 16GB+ Unified RAM, 40+ TOPS NPU, LPDDR5X 8533MHz minimum donanım profili; llama.cpp / ONNX Runtime / Vendor SDK ile INT4/AWQ 7B modelleri (Phi-3, Gemma 2, Qwen 2.5) dağıtımı. Orta Vadede (1-3 Yıl): FP8 destekli NPU’lar, MoE modelleri (Mixtral/Phi-3.5 MoE) ile 14B aktif parametre performansı, Speculative Decoding donanım hızlandırma, SLM’lerin (1-3B) “Always-On” agentik iş akışlarına entegrasyonu. Uzun Vadede (3-10 Yıl): CIM
