Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Sinirsel İşleme Birimleri (NPU), derin öğrenme çıkarım (inference) iş yükleri için tasarlanmış, veri akışı odaklı (dataflow), SIMD/VEKTOR tabanlı özel amaçlı hızlandırıcılardır. Bu analiz, uç cihazlarda (smartphone, PC, IoT ağ geçitleri, otomotiv ECU) NPU performansının nicel göstergesi olan TOPS (Trillion Operations Per Second) metriklerinin, gerçek dünya Yerel LLM (Large Language Model) çalıştırma kapasitesi ile olan korelasyonunu ontolojik olarak çerçeveler. Temel yaklaşım; ham teorik pik TOPS (genellikle INT8/INT4) ile bellek bant genişliği, önbellek hiyerarşisi, kvantizasyon verimliliği (GPTQ, AWQ, GGUF) ve model mimarisi (Transformer, Mamba, MoE) arasındaki darboğazları sistem düzeyinde modellemektir. Çalışma, “TOPS başına Token/saniye” verimliliği kavramını merkeze alarak, heterojen hesaplama (CPU/GPU/NPU) planlamasının, termal tasarım gücü (TDP) kısıtlamaları altındaki sürdürülebilir performansı nasıl belirlediğini inceler. Bu bağlamda, parametre sayısı (7B-70B), bağlam penceresi (context window) ve KV-cache bellek ayak izi, NPU mimarisinin SRAM/DRAM erişim paterleriyle eşleştirilerek stratejik bir değerlendirme matrisi oluşturulur.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
NPU mikromimarisi, çarpma-biriktirme (MAC – Multiply-Accumulate) birimlerinin yoğun matris dizileri (Systolic Array) üzerine yerleştirilmesi prensibine dayanır. GPU’ların SIMT (Single Instruction Multiple Threads) modelinden farklı olarak, NPU’lar MIMD (Multiple Instruction Multiple Data) veya VLIW (Very Long Instruction Word) tabanlı deterministik veri akışı (Dataflow) yürütür. Çekirdek mekanizma; ağırlıkların (weights) ve aktivasyonların (activations) düşük hassasiyetli (INT8, INT4, FP8) formatlarda, yüksek bant genişlikli yerel SRAM (Scratchpad/Buffer) veya L2 önbelleğine önceden yüklenmesi (prefetching) ve sıstolik dizideki işlem elemanları (PE) arasında sıfır gecikmeli (zero-stall) veri hareketi sağlanmasıdır. Yerel LLM çıkarımında kritik olan “Prefill” (prompt işleme, hesaplama yoğun – compute-bound) ve “Decode” (token üretimi, bellek yoğun – memory-bound) fazları, NPU’nun çift tamponlu (double-buffered) DMA motorları ve tensor çekirdekleri (Tensor Cores) ile ayrı ayrı optimize edilir. Kvantizasyon (PTQ/QAT), ağırlık matrislerinin simetriğini bozmadan dinamik aralık (dynamic range) kaybını minimize ederek, TOPS verimliliğini (Effective TOPS) teorik pik değerine yaklaştırır. Bellek hiyerarşisi yönetimi (L1/L2 SRAM vs DRAM), enerji başına işlem (TOPS/W) verimliliğinin belirleyicisidir.
Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?
Performans değerlendirmesi; MLCommons MLPerf Inference (Edge/Client kategorileri), AI-Benchmark, UL Procyon AI ve Geekbench ML gibi standartlaştırılmış paketlerle gerçekleştirilir. TOPS ölçümünde IEEE 754 (FP16/BF16/FP8) ve ISO/IEC 23894 (AI risk yönetimi) referans alınır; ancak endüstri standardı de facto INT8 TOPS’tur. Kvantizasyon kalitesi için Perplexity (PPL) ve LM Evaluation Harness (MMLU, GSM8K, HumanEval) metrikleri kullanılır. Bellek bant genişliği analizi; STREAM Benchmark ve roofline modeli ile hesaplanarak, NPU’nun “Compute Ceiling” ile “Memory Ceiling” arasındaki işlem noktası (Operational Intensity) belirlenir. Yazılım yığını (Software Stack) değerlendirmesinde; ONNX Runtime, TensorRT, Core ML, Qualcomm SNPE, MediaTek Neuron SDK, RKNN Toolkit gibi vendor SDK’larının graf fusion (operator fusion), kernel auto-tuning ve bellek planlama (memory planning) yetenekleri kıyaslanır. Termal dırencı (Thermal Throttling) testleri; SPECpower_ssj2008 metodolojisi uyarlanarak, sürekli yük altındaki performans düşüşü (sustained performance) ölçülür.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Olcut / Deger | Metrik | Stratejik Etki |
|---|---|---|---|
| Teorik Pik TOPS (INT8) | 40 – 120 TOPS (Flagship 2024/25) | TOPS | Ham hesaplama üst sınırı; marketing metriği, gerçek performansı yansımaz. |
| Etkili TOPS (Effective TOPS – LLM) | Pik TOPS %15-35’i | TOPS | Kernel verimliliği, bellek darboğazı ve quantization loss sonucu gerçek çıkış. |
| Bellek Bant Genişliği (DRAM) | 60 – 120 GB/s (LPDDR5X/5T) | GB/s | Decode fazındaki token/saniye (TK/s) için tek en kritik sınırlayıcı faktör. |
| Yerel SRAM / L2 Önbellek | 4 MB – 32 MB (Chiplet dahil) | MB | KV-cache ve ağırlık blokları için off-chip erişimini azaltan enerji verimliliği motoru. |
| Desteklenen Kvantizasyon | INT8, INT4 (GPTQ/AWQ), FP8, BF16 | Format | Model boyutu küçültme vs. doğruluk kaybı dengesi; INT4 yerel LLM için standart. |
| Maks Model Parametresi (Edge) | 7B – 14B (INT4, 4-8GB RAM) | Parametre | Cihaz RAM’i ve NPU SRAM’i tarafından kısıtlı; MoE modelleri avantaj sağlar. |
| Bağlam Penceresi (Context Len) | 4K – 32K Token (KV-cache limiti) | Token | KV-cache bellek tüketimi (2 * Layers * Heads * Dim * Seq_Len) RAM’i tüketir. |
| Prefill Hızı (Prompt Processing) | 50 – 500 Token/s | tok/s | Hesaplama yoğun; NPU pik TOPS’a yakın çalışır, batch size=1 optimizasyonu kritiktir. |
| Decode Hızı (Generation) | 10 – 30 Token/s | tok/s | Bellek yoğun; bant genişliği ve KV-cache yönetimi (PagedAttention) belirler. |
| Güç Tüketimi (Sustained LLM) | 3 W – 10 W (SoC Toplam) | Watt | Termal darboğaz; passif soğutmada 5-10 dk sonra %30-50 performans kaybı (throttling). |
| Enerji Verimliliği | 5 – 20 TOPS/W (INT8) | TOPS/W | Pil ömrü ve fanless tasarım için kritik; NPU, GPU’ya göre 5-10x verimlidir. |
| SDK / Derleyici Olgunluğu | Graph Fusion, Kernel Tuning, Quant Tool | Seviye | Donanım potansiyelini yazılıma taşıyan çarpan; vendor lock-in riski yaratır. |
| Heterojen Planlama (CPU/GPU/NPU) | Dynamic Workload Partitioning | Y/N | Operatör uygunluğuna göre (LayerNorm->CPU, MatMul->NPU) gecikme minimizasyonu. |
| Çoklu Model / Çoklu Akış | Context Switching Latency | ms / Stream | Eşzamanlı asistan + arka plan görevleri için donanım bağlam değiştirme maliyeti. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
Akıllı telefonlarda (Snapdragon 8 Gen 3, Dimensity 9300, A17 Pro) NPU, klavyede yeni nesil metin tahmini, gerçek zamanlı çeviri, fotoğraf düzenleme (Generative Fill) ve cihazında asistan (On-device Assistant) senaryolarında 7B-13B parametreli modelleri (Gemini Nano, Llama 3.1 8B quant) 15-25 tok/s decode hızıyla çalıştırır. AI PC’lerde (Intel Core Ultra Lunar Lake, AMD Ryzen AI 300, Snapdragon X Elite) 40-50 TOPS NPU, Windows Copilot+ stack’i ile RAG (Retrieval-Augmented Generation), kod tamamlama (CodeLlama 13B) ve yerel embedding (BGE-M3) iş yüklerini CPU/GPU’dan ayırarak pil ömrünü %40-60 artırır. Otomotivde (NVIDIA Thor, Qualcomm Snapdragon Ride) NPU, sürücü izleme (DMS) ve kabin içi LLM tabanlı sesli asistan için fonksiyonel güvenlik (ISO 26262 ASIL-D) altinda deterministik gecikme (<10ms) sağlar. Endüstriyel IoT ağ geçitlerinde (Jetson Orin, Hailo-8) NPU, çoklu kamera akışında anomali tespiti ve doğal dil sorgulama (VLM – Vision Language Model) birleşimiyle bant genişliği tasarrufu sağlar. Pratik senaryolarda; model yükleme süresi (mmap vs load), KV-cache paylaşımı (multi-turn) ve spekülatif çözümleme (speculative decoding) ile küçük taslak modeli kullanarak decode hızı 2-3 kat artırılmaktadır.
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
Birincil darboğaz Bellek Bant Genişliği (Memory Wall)dır; LLM decode fazı “Memory Bound” olduğu için LPDDR5X/5T bile 30+ tok/s için yetersiz kalabilir. Çözüm: 3D Stacking (HBM/PoP), işlem-bellek birleşik (PIM/near-memory computing) mimariler ve agresif KV-cache kvantizasyonu (KV-INT4/FP8). İkinci risk Kvantizasyon Kalite Kaybı (Accuracy Degradation); INT4/AWQ, 7B modellerde kabul edilebilirken, 1.5B-3B küçük modellerde veya uzun bağlamda (Needle-in-Haystack) performans çöküşüne yol açar. Çözüm: Mixed-precision (Hassas katmanlar FP16/BP8, diğerleri INT4), QAT (Quantization Aware Training) ve kalibrasyon veri seti genişletme. Üçüncüsü Termal Dırencı (Thermal Throttling); fanless cihazlarda sürekli LLM yükü 5-10 dakikada NPU frekansını %50’ye indirir. Çözüm: Dynamic Voltage Frequency Scaling (DVFS) politikaları, iş yükü profilleme ve “Burst vs Sustained” mod ayrımı. Dördüncü Yazılım Parçalanması (SDK Fragmentation); her vendor (QNN, SNPE, Neuron, RKNN, CoreML) farklı IR (Intermediate Representation) ve operatör kümesi sunar. Çözüm: ONNX/IREE/MLIR tabanlı ortak derleyici altyapısı (Common Compiler Infrastructure) ve ExecuTorch gibi çapraz platform runtime’lar. Beşinci Güvenlik ve Gizlilik; model ağırlıkları (IP) ve kullanıcı verisi (Prompt) NPU SRAM/DRAM’de açık metin kalabilir. Çözüm: TrustZone/TEE entegrasyonu, Secure Boot, Model şifreleme ve Inference-time memory encryption.
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
2024-2025 döneminde FP8 (E4M3/E5M2) ve BF16 yerel destekli NPU’lar (Blackwell, Lunar Lake, Snapdragon 8 Gen 4) eğitimden çıkarım hassasiyetini koruyarak INT8’e göre 2x, INT4’e göre 4x model kalitesi sunuyor. MoE (Mixture of Experts) mimarileri (Mixtral, DeepSeekMoE), NPU’nun seyrek aktivasyon (sparse activation) yeteneğiyle (Router + Expert parallelism) 70B+ modelleri 14B aktif parametre maliyetiyle uç cihazına indiriyor. Speculative Decoding (Medusa, EAGLE, Lookahead), küçük taslak modeli (NPU’da) + büyük hedef modeli (GPU/NPU) hibritliği ile decode hızını 2.5-3x artırıyor. State Space Models (Mamba, RWKV, Jamba), Transformer’ın O(N^2) attention karmaşıklığını O(N)’e indirerek, sonsuz bağlam penceresi ve sabit KV-cache belleği ile NPU dostu yeni bir paradigma yaratıyor. Chiplet / 3D Hybrid Bonding (AMD XDNA 2, Intel NPU 3.0), NPU çekirdeklerini ve SRAM’i ayrı die’larda birleştirerek bant genişliğini TB/s seviyelerine taşıyor. Gelecek 5-10 yıl: Nöromorfik / Spiking Neural Network (SNN) entegrasyonu (event-driven, ultra-low power), Analog In-Memory Computing (ReRAM/FeFET/MRAM) ile matris çarpımının fizik yasalarında (Ohm/Kirchhoff) gerçekleştirilerek TOPS/W 100x artışı, ve Kişiselleştirilmiş Federated Fine-tuning (LoRA/QLoRA on-device) ile modellerin cihazda sürekli öğrenmesi (Continual Learning) bekleniyor. Standartlaşma çabaları (MLCommons, ONNX, IREE) donanım- yazılım soyutlamasını sağlayacak.
Bölüm 8: Merak Edilen Sorular ve Cevaplar
Soru 1: TOPS değeri yüksek bir NPU, neden her zaman daha hızlı LLM çalıştırmaz?
TOPS, teorik pik INT8 matris çarpımı kapasitesidir. LLM çıkarımı (özellikle Decode fazı) bellek bant genişliği (Memory Bandwidth) ve gecikme (Latency) sınırlıdır. Eğer NPU’nun beslendiği DRAM (LPDDR5X) hızı, işlemcilerin (MAC array) veri tüketme hızını karşılayamazsa, işlem birimleri boşta bekler (Starvation). Bu durumda 100 TOPS’luk bir NPU, 40 TOPS’luk ama 2x bant genişliğine ve büyük SRAM’e sahip bir NPU’dan daha yavaş token üretir. Etkili performans “Roofline Model” ile belirlenir.
Soru 2: Yerel LLM için INT4 kvantizasyon yeterli midir, INT2/INT1 riskli midir?
Evet, INT4 (GPTQ, AWQ, HQQ) şu an 7B-14B modeller için “Sweet Spot” (dengeli nokta) kabul edilir; Perplexity kaybı %1-2 seviyesindedir. INT2/INT1 (Binary/Ternary), ağırlıkların ifade kapasitesini aşırı kısıtlayarak, özellikle küçük modellerde (1B-3B) ve uzun bağlamda (Reasoning, Coding) kırılgan davranışlar (Hallucination, Repetition) yaratır. Gelecekte FP4/NF4 (Microscaling formats – MXFP4) bu boşluğu dolduracak, INT4 hassasiyetini INT2 maliyetinde sunacaktır.
Soru 3: KV-Cache (Key-Value Cache) NPU belleğini nasıl tüketir ve çözümler nelerdir?
KV-Cache, her katman için 2 * Batch * Heads * Head_Dim * Seq_Len * Bytes formülüyle hesaplanır. 7B modelde (32 Layer, 32 Head, 128 Dim), 4K context INT4 KV-cache约 1.5 – 2 GB RAM tüketir. Bu, cihaz RAM’ini (örn. 8GB cihazda 2-3 GB sistem + 2 GB model ağırlığı = kalan 3-4 GB) hızla doldurur. Çözümler: PagedAttention (vLLM/SGLang) ile parçalı bellek yönetimi, KV-Cache Quantization (INT8/FP8/INT4), Sliding Window Attention, Multi-Query/Grouped-Query Attention (MQA/GQA) mimari desteği ve Speculative Decoding ile üretilen token sayısını azaltarak cache büyümesini geciktirme.
Soru 4: NPU, GPU ve CPU’nin LLM çıkarımındaki roller nasıl ayrılır (Heterojen Hesaplama)?
NPU: Yoğun, yapısal, düşük hassasiyetli (INT8/INT4/FP8) matris çarpımları (GEMM: QK^T, Attention ScoresV, FFN Up/Down Proj) için optimize edilmiştir. En yüksek TOPS/W verir.
GPU: Yüksek hassasiyet (FP16/BF16/FP32) gereken, yapısı az düzenli veya kontrol akışı içeren operatörler (LayerNorm, Softmax, RoPE, Sampling, speculative draft model) için esneklik sunar. Büyük modellerde (Prefill) paralellik avantajlıdır.
CPU: Graf yönetimi, tokenizasyon, I/O, Python/C++ runtime orchestrasyonu, küçük matrisler (Batch=1, Head=1), şartlı dallanmalar ve OS çağrıları için zorunludur. Modern stack’ler (ExecuTorch, MLC-LLM, llama.cpp) bu üçünü Operator Level‘de planlar (Graph Partitioning).
Soru 5: “Sustained Performance” (Sürdürülebilir Performans) neden Peak TOPS’tan çok daha önemlidir?
Peak TOPS, soğuk başlangıçta (Cold Start) milisaniyeler süren bir “Burst” yeteneğidir. LLM sohbeti (Chat) dakikalar sürer. Passif soğutmalı cihazlarda (Telefon, Tablet, Mini PC) NPU + CPU + Modem + Display ısıtıcısı SoC’yi 45-50°C’ye çıkarır. Termal yönetim (Thermal Mitigation) devreye girip NPU frekansını %50-%70’ye indirir. Bu durumda 50 TOPS’luk bir NPU etkili 15-20 TOPS’a düşer. Sustained TOPS, termal tasarım gücü (TDP), soğutma çözümü ve DVFS politikasının bir sonucudur; gerçek kullanıcı deneyimini (Token/s sürekli) belirler.
Soru 6: Yerel LLM için minimum donanım gereksinimleri (2024 Sonu Standartları) nelerdir?
Minimum (Temel Chat 3B-7B INT4): 6-8 GB RAM (Unified Memory), 15-20 TOPS NPU (INT8), LPDDR5/5X (50+ GB/s). Örn: Snapdragon 7 Gen 3, Dimensity 7200, Intel Core Ultra 5 (Meteor Lake).
Önerilen (Akıcı Chat 7B-13B INT4, RAG, Code): 12-16 GB RAM, 35-50 TOPS NPU, LPDDR5X (7500-8533 Mbps), 8-16 MB NPU SRAM/L2. Örn: Snapdragon 8 Gen 3, Dimensity 9300/9400, Apple M3/M4, Snapdragon X Elite, Lunar Lake.
Yüksek Uç (Agentic, MoE 8x7B, VLM, Long Context 32K+): 24-32+ GB RAM, 60-100+ TOPS NPU, LPDDR5X/5T (9600+ Mbps) veya HBM, Gelişmiş Soğutma (Aktif/Fan). Örn: High-end AI PC, Workstation, Jetson Orin AGX.
Bölüm 9: Bilmeniz Gereken Temel Terimler
TOPS (Trillion Operations Per Second): Saniyede trilyon işlem. NPU performansının ham teorik metriği. Genellikle INT8 (8-bit Integer) çarpma-biriktirme (MAC) işlemi olarak sayılır; 1 MAC = 2 Operations (1 Mul + 1 Add). FP16/BF16 TOPS değeri INT8 TOPS’un yarısıdır.
Kvantizasyon (Quantization): Yüksek hassasiyetli (FP32/FP16) model ağırlıklarını ve aktivasyonları, daha düşük bit genişliğinde (INT8, INT4, FP8) temsillere dönüştürme işlemi. Model boyutunu küültür, bellek bant genişliği yükünü azaltır ve INT8/INT4 MAC birimlerini kullanarak gecikmeyi düşürür. PTQ (Post-Training Quantization) ve QAT (Quantization Aware Training) ana yöntemlerdir.
KV-Cache (Key-Value Cache): Transformer mimarisinde Self-Attention mekanizmasının, önceki token’lar için hesapladığı Key ve Value matrislerinin bir sonraki token üretiminde (Decode) yeniden hesaplanmaması için bellekte (DRAM/SRAM) saklanmasıdır. Bağlam uzunluğu (Sequence Length) ile lineer büyür ve Decode fazının bellek bant genişliği darboğazı olmasının ana nedenidir.
Roofline Model: Bir işlemcinin (NPU/GPU/CPU) ulaşılabilir performansını (GFLOPS/TOPS), operasyonel yoğunluk (FLOPs/Byte – İşlem başına veri erişimi) ve bellek bant genişliği (GB/s) eksenlerinde görselleştiren performans modeli. “Compute Bound” (Hesaplama Sınırlı) ve “Memory Bound” (Bellek Sınırlı) bölgelerini ayırır.
Speculative Decoding (Spekülatif Çözümleme): Küçük, hızlı bir “Taslak Modelin” (Draft Model) birden fazla token tahmin etmesi, ardından büyük “Hedef Modelin” (Target Model) bu tokenları tek seferde (paralel) doğrulayarak (verify) kabul/red etmesidir. Doğru tahminlerde decode hızı taslak modelin hızına yaklaşılarak 2-3x artırılır.
NPU SRAM / Scratchpad / Local Memory: NPU çekirdeği (PE Array) içindeki veya hemen yanındaki, DRAM’dan bağımsız, çok yüksek bant genişlikli (TB/s), düşük gecikmeli, yazılım yönetimli (Software Managed) hızlı bellek. Ağırlık blokları, aktivasyon kacheleri (tiles) ve KV-cache dilimleri için kritik öneme sahiptir. Cache’den farklı olarak adres çözme donanımı yoktur, derleyici (Compiler) veri yerleşimini planlar.
Mixture of Experts (MoE – Uzman Karışımı): Model parametrelerinin “Uzman” (Expert) alt ağlara bölünmesi ve her token için bir “Yönlendirici” (Router/Gating) aracılığıyla sadece en ilgili K (genelde 1 veya 2) uzmanın aktif edilmesidir. Toplam parametre sayısı (örn. 141B) büyüse de, aktif parametre sayısı (örn. 2x14B=28B) küçülür. NPU’lar için seyrek (sparse) hesaplama ve uzman paralelliği (Expert Parallelism) optimizasyonu gerektirir.
Bölüm 10: Özet ve Çıkarılması Gereken Dersler
NPU mimarisi, uç cihazlarda Yapay Zekanın “Buluttan Uca” (Cloud-to-Edge) geçişinin donanım omurgasını oluşturur. Analiz, ham TOPS metrik