Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Bu analiz, uç cihazlarda (smartphone, PC, IoT ağ geçitleri, otomotiv ECU’ları) yerel yapay zeka çıkarımını (inference) sağlayan Sinirsel İşleme Birimleri (NPU) mimarisinin, pazarlama odaklı “TOPS” (Trillion Operations Per Second) metriklerinin ötesindeki gerçek performans sınırlarını, bellek bant genişliği bağımlılığını ve quantize edilmiş Büyük Dil Modelleri (LLM) çalıştırma kapasitesini kapsamaktadır. Doğal döngü açısından; donanım mikro-mimarisi (dataflow vs. systolic array), yazılım yığını (driver, compiler, runtime) ve termal/enerji bütçesi üçgenini metodolojik temel olarak alır. Temel yaklaşım, “Peak TOPS” teorik üst sınırı ile “Sustained TOPS” gerçeği arasındaki farkı, model boyutu (parametre sayısı), kwantizasyon hassasiyeti (INT4/INT8/FP16) ve KV-Cache (Key-Value Cache) bellek trafiği üzerinden nicelendirmektir. Çalışma, donanım satın alma kararlarında ve yazılım optimizasyon stratejilerinde “telafisi zor” sistematik hataları (örneğin yetersiz SRAM, zayıf derleyici desteği, bellek hiyerarşisi darboğazı) önceden tespit ederek stratejik risk haritası çıkarmayı hedefler.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
NPU’lar, von Neumann darboğazını aşmak için veri akışı (dataflow) ve sistolik dizi (systolic array) mimarilerini birleştirir. Temel işleyiş, ağırlıkların (weights) ve aktivasyonların (activations) yerel SRAM/Buffer’larda tutulduğu, MAC (Multiply-Accumulate) birimlerinin matris çarpımlarını paralelde ve pipelined gerçekleştirdiği, veri hareketinin (data movement) enerji maliyetinin hesaplama maliyetinden (pJ/op vs pJ/byte) katbekat yüksek olduğu bir paradigma üzerine kuruludur. LLM çıkarımı (inference) iki fazdan oluşur: Prefill (prompt işleme, compute-bound, matris-matris çarpımı) ve Decode (token üretme, memory-bound, matris-vektör çarpımı). NPU verimliliği, Prefill’de peak FLOPS’a yaklaşıp, Decode’da bellek bant genişliği (DRAM/LPDDR5X) ile kısıtlanır. Kwantizasyon (INT4/INT8), model boyutunu ve bellek trafiğini düşürür ancak akümülatör bit genişliği (örn. INT32) ve dekwantizasyon overhead’i doğurur. Derleyici (compiler), operatör fusion (operator fusion), kernel tiling ve memory planning yaparak teorik TOPS’u gerçek throughput’a dönüştürür; bu bağlamda yazılım/donanım ortak tasarımı (co-design) kritik belirleyicidir.
Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?
Performans değerlendirmesi için endüstri standardı MLPerf Inference (Edge/Client kategorileri) referans alınır; bu paket ResNet-50, BERT, GPT-J, Stable Diffusion gibi modelleri standart veri setleri (ImageNet, Squad, C4) üzerinde çalıştırarak latenş (ms), throughput (tokens/s) ve doğruluk (accuracy drop) metriklerini izler. TOPS ölçümünde “Dense” vs “Sparse” (yapay zeka çekirdeklerinin seyreklik destekli atlama yeteneği) ayrımı şarttır; vendor’lar genellikle yoğun (dense) INT8 TOPS’u raporlar. Kwantizasyon kalitesi için PTQ (Post-Training Quantization) ve QAT (Quantization-Aware Training) metodolojileri, perplexity ve task-specific metric (BLEU, ROUGE) kaybı ile değerlendirilir. Bellek bant genişliği analizi için STREAM benchmark ve roofline modeli uygulanır; operasyon yoğunluğu (FLOPs/Byte) hesaplanarak hesaplama mı yoksa bellek mi bound olduğu belirlenir. Yazılım yığını uyumluluğu için ONNX Runtime, TensorRT, CoreML, Qualcomm SNPE, MediaTek Neuron SDK gibi runtime’ların operator coverage (desteklenen op seti) ve graph optimization yetenekleri denetlenir. Termal throttling profilini çıkarmak için SPECpower veya vendor-specific sustained power testleri (örn. 30 dk sürekli yük) metodolojisi kullanılır.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Ölçüt / Değer | Metrik | Stratejik Etki |
|---|---|---|---|
| Peak TOPS (INT8 Dense) | Vendor Datasheet (örn. 45 TOPS) | TOP/s | Pazarlama üst sınırı; gerçek yükte %30-50’ye düşebilir. |
| Sustained TOPS (30dk, 25°C) | Termal Throttling Sonrası Çıktı | TOP/s | Gerçek dünya LLM token/s hızı için tek güvenilir gösterge. |
| Bellek Bant Genişliği (LPDDR5X) | 6400-8533 Mbps / 128-bit Bus | GB/s | Decode fazındaki token/s hızı için en kritik darboğaz (Memory Wall). |
| Yerel SRAM / Cache Kapasitesi | 4MB – 32MB (L2/L3 + NPU Local) | MB | KV-Cache ve ağırlıkların çip içinde tutunabilmesi için eşik değeri. |
| Kwantizasyon Desteği (Donanım) | INT4 / INT8 / FP16 / BF16 / FP8 | Bit Genişliği | Model boyutu vs Doğruluk dengesi; INT4 donanım hızlandırma şart. |
| KV-Cache Offload Stratejisi | Unified Memory (UMA) vs Discrete VRAM | Latency (ms/token) | UMA’da CPU/GPU/NPU paylaşımı bant genişliğini kısır döngüye sokar. |
| Derleyici Operator Coverage | ONNX Opset / TFLite Builtin Ops | % Destek | Desteklenmeyen op’lar CPU’ya düşerek (fallback) performansı %90+ düşürür. |
| Speculative Decoding Desteği | Draft Model + Target Model Pipeline | Token/s Speedup | Küçük draft modeli NPU’da, büyük hedef modeli GPU/CPU’da koşturma yeteneği. |
| Enerji Verimliliği (Inference/Watt) | Tokens/Joule (LPDDR dahil) | tok/J | Batarya ömrü ve veri merkezi TCO’su için belirleyici; NPU GPU’dan 5-10x üstündedir. |
| Context Window Donanım Limiti | Max Seq Len (KV-Cache RAM boyutu) | Token Sayısı | 32K/128K context için gereken DRAM kapasitesi ve adresleme genişliği. |
| Sparse Compute Utilization | Structured Sparsity (2:4) Speedup | X Faktörü | Teorik 2x hızlanma; derleyici ve model seyreklik desenine bağlı gerçekleşir. |
| Güvenli Enklav / TEE Entegrasyonu | TrustZone / TEE / Secure NPU | Evet/Hayır | Kurumsal/On-device LLM’de model IP koruması ve veri gizliliği için zorunlu. |
| Çoklu Mod Desteği (Time-slicing) | Context Switch Latency / QoS | µs / Priority | Aynı anda AR, Ses Asistanı, LLM çalıştırma (Multi-tenant NPU) yeteneği. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
Akıllı telefonlarda “Circle to Search” ve canlı çeviri gibi sürekli çalışan küçük modeller (BERT-tiny, DistilBERT) NPU’nun sürekli düşük güç (mW seviyesinde) modunda çalışmasını gerektirirken; amiral gemilerde (Snapdragon 8 Gen 3, Dimensity 9300, Apple A17 Pro, Intel Core Ultra) 7B-13B parametreli LLM’ler (Llama-3, Phi-3, Gemma) 4-bit kwantizasyonla çalıştırılmaktadır. Pratik senaryoda; 7B INT4 model (~4GB VRAM/RAM) 60-80 tok/s hızında Prefill, 15-25 tok/s hızında Decode üretir. Kritik vaka analizi: Bir amiral gemide 128K context pencereli bir model çalıştırıldığında KV-Cache tek başına ~1.5-2GB LPDDR5X tüketir; bu da işletim sistemi, grafik ve diğer uygulamalarla paylaşılan Unified Memory mimarisinde “Out of Memory” (OOM) kill riskini veya ciddi swap/throttling’e yol açar. Otomotivde (Orin X, Thor) sürücü izleme + kabin asistanı + park asistanı modellerinin aynı NPU üzerinde time-slicing ile koşturulması, deterministik gecikme (latency) garantisi (ISO 26262 ASIL-D) gerektirir; burada NPU’nun donanım tabanlı sanalizasyon (hardware virtualization) ve QoS (Quality of Service) birimleri yazılımdan daha kritik hale gelir. PC’lerde (Copilot+ PC sertifikası: 40+ TOPS NPU) Windows Studio Effects ve Recall özelliği NPU’ya kilitlenmişken, yetersiz TOPS’lu cihazlarda bu işler GPU’ya düşerek batarya ömrünü %30-40 kısaltmaktadır.
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
En kritik operasyonel darboğaz Bellek Duvarı (Memory Wall)dır; LLM Decode fazı tamamen bellek bant genişliği bound (Memory Bound) olduğu için NPU MAC birimleri %10-20 verimlilikle boşta bekler. Çözüm: Çip içi SRAM artırma (maliyetli), Near-Memory Processing (HBM/3D stacking), veya Speculative Decoding (küçük draft modeli ile token önerisi, büyük model ile doğrulama) ile bellek erişimi azaltma. İkinci risk Kwantizasyon Kaybı ve Hassasiyet; INT4, INT8’e göre %20-30 daha hızlı/bant genişliği azaltıcı olsa da, özellikle uzun context ve reasoning görevlerinde “perplexity collapse” yaşanabilir. Çözüm: Mixed Precision (Ağırlıklı katmanlar INT8, diğerleri INT4), AWQ/GPTQ gibi gelişmiş PTQ yöntemleri ve donanımda FP8/BF16 destekli akümülatörler. Üçüncü risk Derleyici ve Yazılım Olgunluğu; vendor SDK’ları (SNPE, Neuron, CoreML) sık sık yeni operatörleri (örn. Grouped Query Attention, SwiGLU, RMSNorm fusion) desteklememez, model CPU’ya düşer (fallback). Çözüm: MLIR tabanlı açık derleyici altyapıları (IREE, TVM, MLC-LLM) ile vendor lock-in’ten kurtulup kernel fusion manuel optimizasyonu. Dördüncü risk Termal Throttling ve Sustained Performans; fanless cihazlarda 2-3 dakika sonra TOPS %50’ye düşer. Çözüm: Dynamic Voltage Frequency Scaling (DVFS) politikalarının modele özel tune edilmesi ve “Power-Aware Scheduling”. Beşinci risk Güvenlik ve Model IP Koruması; NPU’ya yüklenen model ağırlıkları DRAM’da düz metin (plaintext) kalır. Çözüm: Secure NPU (TrustZone/TEE entegrasyonlu), Encrypted Weights with Inference-time Decryption inside Secure Enclave.
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
Güncel gelişmelerde Chiplet ve 3D Stacking (TSMC SoIC, Intel Foveros) ile NPU compute die’ı ve HBM/LPDDR5X memory die’ı birleştirilerek bant genişliği TB/s seviyelerine taşınıyor (örn. Apple M3 Max/Ultra, AMD Strix Halo, Intel Lunar Lake). FP8 (E4M3/E5M2) ve Microscaling (MX) Formatları (OCP MX Alliance), eğitimde başlayıp çıkarıma (inference) sızan yeni sayısal formatlar, INT4’in hassasiyet sorununu çözmeden INT8’in 2x hızını/bant tasarrufunu hedefliyor. Sparse Mixture of Experts (MoE) modeller (Mixtral, DeepSeekMoE), NPU’larda yapısal seyreklik (2:4 structured sparsity) ve expert routing mekanizmalarıyla sadece aktif parametreleri hesaplayarak etkin parametre sayısını düşürüyor; bu da donanımda “Sparse Tensor Core” gerektiriyor. Speculative Decoding / Medusa / Eagle gibi algoritmik hızlandırma teknikleri artık donanım seviyesinde (Draft Model NPU, Target Model GPU/NPU pipeline) desteklenmeye başlıyor. 5-10 Yıllık Projeksiyon: NPU’lar ayrı bir IP bloğundan çıkıp CPU/GPU/NPU birleşik “Unified Compute Fabric” (CXL/PCIe Gen6/ UCIe interconnect ile) haline gelecek. Modeller 1B-3B “Small Language Models” (SLM) ile cihazda, 70B+ modellerle bulutta hibrit (Hybrid AI) çalışacak; NPU bu geçişte “Router” ve “Local Executor” rolü oynayacak. Kişiselleştirme (LoRA/Adapter fine-tuning on-device) NPU’da düşük presizyon (INT8/INT4) geri yayılım (backprop) desteği gerektirecek.
Bölüm 8: Merak Edilen Sorular ve Cevaplar
Soru 1: Pazarlama materyallerindeki “45 TOPS” etiketi, gerçekte 7B LLM çalıştırırken ne anlama gelir?
Cevap: 45 TOPS genellikle INT8 yoğun (dense) matris çarpımı için teorik pik değerdir. Gerçek LLM çıkarımında (Decode fazı), işlem bellek bant genişliğiyle kısıtlıdır (Memory Bound). Bu nedenle NPU’nun MAC birimleri %10-20 verimlilikle çalışır; efektif TOPS 4-9 TOPS aralığına düşer. Gerçek performans “Tokens/s” metriğiyle ölçülmelidir.
Soru 2: INT4 kwantizasyon INT8’e göre ne kadar hız kazandırır ve doğruluk kaybı nedir?
Cevap: Donanım INT4 MAC destekliyorsa teorik 2x hız ve 2x bant genişliği tasarrufu sağlar. Ancak LLM’lerde INT4, reasoning ve uzun context görevlerinde ciddi perplexity artışına (doğruluk düşüşüne) yol açabilir. AWQ/GPTQ gibi gelişmiş PTQ yöntemleri bu kaybı %1-2’ye indirir; basit RTN (Round-to-Nearest) kaybı %5-10 olabilir.
Soru 3: Unified Memory (UMA) mimarisi (Apple Silicon, Snapdragon, Lunar Lake) LLM için avantaj mı dezavantaj mıdır?
Cevap: Çift kenarlı kılıçtır. Avantaj: CPU/GPU/NPU arasında sıfır kopyalı (zero-copy) veri paylaşımı, toplam RAM havuzunun modele ayrılabilmesi. Dezavantaj: Tüm işlemciler tek LPDDR5X kontrolcüsünden beslendiği için LLM Decode fazında GPU/CPU arka plan işleri NPU’nun bant genişliğini çalabilir (Noisy Neighbor problemi). QoS ve Memory Partitioning kritik olur.
Soru 4: NPU’da “Sustained Performance” (Süreklilik Performansı) nasıl ölçülmeli ve neden Peak TOPS’tan daha önemlidir?
Cevap: Fanless cihazlarda (telefon, tablet, ince laptop) 15-30 dakikalık sürekli LLM yükü altında (örn. MLPerf Inference Server/Offline senaryosu adaptasyonu) termal throttling devreye girmeden veya girince stabilize olan TOPS/Token-s değeri ölçülmelidir. Peak TOPS soğuk başlangıçta (cold start) 1-2 saniye sürer; kullanıcı deneyimi sustained performansı yansıtır.
Soru 5: Yerel LLM çalıştırmak için minimum NPU TOPS ve RAM gereksinimi nedir?
Cevap: Kullanılabilir deneyim (15+ tok/s) için: 7B INT4 modeli ~4GB RAM + 2GB KV-Cache/OS = Minimum 8GB RAM (12GB+ önerilir). NPU tarafında minimum 15-20 Sustained TOPS (INT8) veya 30+ Peak TOPS gerekir. 13B+ modeller için 16-24GB RAM ve 30+ Sustained TOPS şarttır.
Soru 6: NPU derleyici (Compiler) desteği neden model performansından daha kritik olabilir?
Cevap: En iyi donanım, operatör fusion (MatMul + Add + SiLU/RMSNorm + RoPE birleştirme), kernel tiling (SRAM’a sığdırma), memory planning (KV-Cache ofset hesaplama) yapamazsa MAC birimleri boş bekler. Vendor SDK’lar (SNPE, CoreML, Neuron) yeni LLM operatörlerini (GQA, SwiGLU) 6-12 ay gecikmeyle destekler; bu dönemde model CPU’ya düşer ve performans 10-20x düşer. Açık kaynak derleyiciler (MLC-LLM, IREE, TVM) bu boşluğu doldurur.
Bölüm 9: Bilmeniz Gereken Temel Terimler
TOPS (Trillion Operations Per Second): Saniyede trilyon işlem; NPU performans birimi. Genellikle INT8 yoğun matris çarpımı için verilir. “Sparse TOPS” seyreklik destekli atlama ile inflate edilmiştir.
KV-Cache (Key-Value Cache): LLM Decode fazında her token üretiminde yeniden hesaplanmaması için önceki token’ların Attention Key/Value matrislerinin saklandığı bellek alanı. Context uzunluğu ile lineer büyür (Örn: 7B INT4, 32K ctx ~1.5GB).
Memory Bandwidth Bound (Bellek Bant Genişliği Sınırlı): Hesaplama birimlerinin (MAC) veri beklemesinden dolayı boşta kaldığı durum. LLM Decode fazının (Matris-Vektör çarpımı) temel özelliğidir. Roofline modelinde “Ridge Point”in solunda kalınmasıdır.
Quantization (Kwantizasyon): FP32/FP16 ağırlıkları ve aktivasyonları INT8/INT4 gibi düşük presizyonlu tamsayı formatlarına dönüştürme. Model boyutu ve bant genişliği azalır; doğruluk kaybı (accuracy drop) riski doğurur.
Operator Fusion (Operatör Birleştirme): Derleyici optimizasyonu; ardışık operatörleri (MatMul -> Add Bias -> SiLU) tek bir kernel çağrısında birleştirerek DRAM yazma/okuma sayısını azaltma. NPU verimliliği için hayati öneme sahiptir.
Speculative Decoding (Spekülatif Çıkarım): Küçük bir “Draft Model” ile birden fazla token önerip, büyük “Target Model” ile tek seferde doğrulama (verification) yaparak bellek bant genişliği erişim sayısını azaltma tekniği. 2-3x hızlanma sağlar.
Unified Memory Architecture (UMA): CPU, GPU, NPU’nun fiziksel olarak aynı DRAM havuzunu (LPDDR5X) paylaştığı mimari. Sıfır kopyalı paylaşım avantajı verir; bant genişliği çekişmesi (contention) riski barındırır.
Bölüm 10: Özet ve Çıkarılması Gereken Dersler
NPU mimarisi, uç cihazlarda yapay zekayı buluttan indirgemek için tek başına yeterli olmayan, bellek alt sistemi (LPDDR5X/6, SRAM, Cache hiyerarşisi), yazılım derleyici zinciri (Graph Optimization, Kernel Fusion, Quantization Calibration) ve termal/mekanik tasarım ile ayrılmaz bir bütün oluşturur. Karar vericiler için stratejik yol haritası şöyledir: 1) Satın Alma/Entegre Etme Kararında: “Peak TOPS” datasheet değerini değil, MLPerf Inference bencherları veya vendor-agnostik LLM token/s (INT4, 7B model) sustained sonuçlarını talep edin. 2) Bellek Konfigürasyonu: LPDDR5X-7500/8533 128-bit (veya 256-bit) ve minimum 16GB RAM (32GB hedef); 8GB artık 7B+ LLM için “Minimum Viable” alt sınırındadır. 3) Yazılım Yatırımı: Vendor SDK kilidinden (Vendor Lock-in) kaçının; ONNX/MLIR tabanlı ara temsiller (IR) ve MLC-LLM / IREE / ExecuTorch gibi açık runtime’larla model dağıtımını standartlaştırın. 4) Güvenlik: Kurumsal/hassas veri senaryolarında Secure NPU (TEE/TrustZone entegreli) ve şifreli model ağırlıkları çalıştırma yeteneği şarttır. 5) Gelecek Kanıtlama: FP8/Microscaling, MoE Sparse Compute, Speculative Decoding donanım hızlandırma ve On-Device LoRA Fine-tuning (Backprop) desteği olan IP’leri (IP blocks) tercih edin. NPU artık bir “hızlandırıcı” değil, uç cihazın yeni “Ana İşlemci” (Primary Compute Fabric) olma yolundadır; bu geçişi yöneten ekosistem (Donanım + Derleyici + Bellek + Güvenlik) hakimiyetini sağlayacak aktördür.
