NPU (Sinirsel İşleme Birimi) Mimarisi: Uç Cihazlarda TOPS Değerleri ve Yerel LLM Çalıştırma Kapasitesi

Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?

Sinirsel İşleme Birimi (NPU), derin öğrenme çıkarım (inference) iş yükleri için veri yolu, bellek hiyerarşisi ve hesaplama birimlerinin (MAC/TPU çekirdekleri) ortak olarak optimize edildiği, veri akışı odaklı (dataflow) bir mikro mimari paradigmasıdır. CPU’ların sıralı işleme (SIMD/SSE/AVX) ve GPU’ların iş parçacığı paralelliği (SIMT) aksine, NPU’lar tensör işlemlerine (GEMM, Convolution) donanımsal seviyede yerel destek sağlayarak, işlem başına enerji verimliliğini (TOPS/W) en üst seviyeye taşır. Bu çalışmanın ontolojik çerçevesi; uç cihazlarda (edge) “TOPS” (Trillion Operations Per Second) metriklerinin teorik pik performans ile gerçekçi sürekli performans (sustained performance) arasındaki farkı, bellek bant genişliği (memory bandwidth) ve quantizasyon (INT8/INT4/FP8) hassasiyeti ekseninde tanımlamaktır. Metodolojik yaklaşım; endüstri standart benchmark’lar (MLPerf Tiny, AI-Benchmark), üretici SDK dokümantasyonları (Qualcomm SNPE, MediaTek NeuroPilot, Apple Core ML, Rockchip RKNN) ve akademik literatürdeki roofline model analizlerini sentezleyerek, yerel LLM (Large Language Model) çalıştırma kapasitesini parametre sayısı, bağlam penceresi (context window) ve token üretim hızı (tokens/s) üçgeni içinde nicelendirmektir.

Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?

NPU çalışma mekanizmasının fiziksel temeli, “Hareketli Veri, Durak Hesaplama” (Data Stationary / Weight Stationary) veri akışı modellerine dayanır. Ağırlıklar (weights) ve aktivasyonlar (activations) SRAM tabanlı yerel tampon belleklere (Local Buffer/Scratchpad) önceden yüklenir; bu sayede enerji maliyeti yüksek olan DRAM erişimleri minimize edilir. Hesaplama çekirdekleri, düşük hassasiyetli (low-precision) çarpma-birme (MAC: Multiply-Accumulate) işlemlerini vektör/matris birimleri üzerinden piksel/kanal paralelliği ile gerçekleştirir. Sparse computing (seyrek matris hesaplaması) destekli mimarilerde, sıfır ağırlıkların atlanması (weight pruning) ve aktivasyon seyrekliği (ReLU sonrası) donanımsal maske birimleriyle işlem atlaması (compute skipping) sağlanır. Çıkarım ardışık düzeni (pipeline); ön işleme (pre-processing: resize, normalize), model bölütleme (model partitioning/sharding) ve son işleme (post-processing: NMS, argmax) aşamalarını DMA (Direct Memory Access) kontrolörleri aracılığıyla CPU müdahalesi olmadan yönetir. Bu mekanizma, gecikmeyi (latency) deterministik hale getirirken, termal tasarım gücünü (TDP) 1-5W aralığında sınırlayarak fanless uç cihaz entegrasyonunu mümkün kılar.

Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?

Performans değerlendirmesinde “Pik TOPS” (Peak TOPS) yerine “Etkin TOPS” (Effective TOPS) metrikleri referans alınır; bu bağlamda MLCommons MLPerf Inference (Edge/Closed division) ve EEMBC MLMark standartları altın standardır. Quantizasyon doğruluğu için IEEE 754 uyumlu FP8 (E4M3/E5M2) ve INT8/INT4 kalibrasyon protokolleri (PTQ: Post-Training Quantization, QAT: Quantization-Aware Training) zorunludur. Bellek bant genişliği sınırlı sistemlerde Roofline Model analizi ile operasyon yoğunluğu (Operational Intensity: FLOPs/Byte) hesaplanarak hesaplama veya bellek bound (bounded) durumu tespit edilir. Yazılım yığınında (SW Stack); ONNX Runtime, TensorRT, TFLite Delegates ve vendor-specific graph compiler’lar (Graph Optimizer, Operator Fusion, Layout Transformation) standartlaştırılmıştır. Güvenlik ve gizlilik için Trusted Execution Environment (TEE) entegrasyonu ve model şifreleme (AES-GCM) protokülleri (GlobalPlatform TEE specs) uç cihaz dağıtımlarında şarttır. Termal throttling analizi için JEDEC JESD51 standartlarına göre sürekli yük testleri (30+ dakika) yapılarak performans düşüş eğrileri (performance decay curves) raporlanır.

Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi

Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?

NPU tabanlı uç çözümler, gecikme toleransı sıfıra yakın, bant genişliği maliyeti yüksek veya veri gizliliği kritik olan senaryolarda CPU/GPU hibritlerine göre üstünlük sağlar. Akıllı telefonlarda “Live Translate” ve “Magic Eraser” gibi görsel/dilsel özellikler, NPU üzerinde 20-30ms gecikmeyle çalışarak bulut gidiş-dönüşünü (round-trip) ortadan kaldırır. Endüstriyel IoT’de (IIoT), Rockchip RK3588 veya NVIDIA Jetson Orin tabanlı ağ geçitleri (gateways), fabrika hatlarındaki kamera akışlarından anomali tespiti (defect detection) için YOLOv8/RT-DETR modellerini 30 FPS üzerinde INT8 quantize ederek işler. Otomotivde (Snapdragon Ride, Thor), sürücü izleme sistemi (DMS) ve yol işaretçisi tanıma, ISO 26262 ASIL-B/D gereksinimleri altında deterministik NPU çekirdeklerinde izole edilerek çalışır. PC/AI PC segmentinde (Intel Core Ultra, AMD Ryzen AI, Apple M-serisi), Microsoft Copilot+ standartları (≥40 TOPS NPU) yerel “Recall” (ekran geçmişi vektör arama) ve Phi-3-mini / Llama-3-8B INT4 modellerinin 15+ tok/s hızında çalışmasını sağlar. Sağlıkta portatif ultrason cihazları, NPU üzerinde segmentasyon modelleri çalıştırarak anlık organ konturu çizer.

Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler

Birincil operasyonel darboğaz Bellek Duvarı (Memory Wall)dır; LLM çıkarımında hesaplama (MAC) değil, ağırlıkların DRAM’dan SRAM’a taşınması (weight loading) gecikmeyi ve enerjiyi 지배 eder. Çözüm: LLM Quantizasyonu (INT4/NF4), KV Cache Quantizasyonu (KV-8bit/FP8), Speculative Decoding (küçük taslak model + büyük doğrulama modeli) ve PagedAttention / vLLM benzeri bellek yönetimi teknikleri. İkinci risk Termal Throttling; fanless cihazlarda 2-3 dakika sonra sürekli TOPS %50’ye düşebilir. Çözüm: Dynamic Voltage Frequency Scaling (DVFS) profilleri, Model Sharding (büyük modelleri NPU+GPU+CPU’ya dağıtma) ve Batch=1 Optimize Edilmiş Kernel’lar. Üçüncü zorluk Yazılım Parçalanması (Fragmentation): Her satıcının (Qualcomm, MediaTek, Apple, Intel, AMD) kapalı SDK’sı (SNPE, NeuroPilot, Core ML, OpenVINO, Ryzen AI SW) model portabilitesini engeller. Çözüm: ONNX / MLIR tabanlı ara temsiller (IR) ve IREE / TVM / MLC-LLM gibi açık derleyici altyapılarının benimsenmesi. Dördüncü risk Doğruluk Kaybı: Ağır INT4 quantizasyonu küçük modellerde (1B-3B) hallüsinasyona yol açar. Çözüm: QAT (Quantization Aware Training) ve Mixed Precision (Hassas katmanlar FP16/INT8, diğerleri INT4).

Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler

2024-2025 döneminde FP8 (E4M3/E5M2) donanım desteği (Blackwell, Lunar Lake, Snapdragon 8 Gen 4/Elite) eğitimden çıkarım standartlaşmasına doğru evrilmekte; bu, INT8’in hassasiyetini ve FP16’nın aralığını birleştirerek quantizasyon kalibrasyon ihtiyacını azaltır. Mixture of Experts (MoE) mimarileri (Mixtral, DeepSeekMoE), NPU’lar için ideal “conditional compute” sunar; sadece aktif uzmanlar (experts) hesaplandığı için 7B aktif parametreli model 50B+ kalite verir. Speculative Decoding ve Medusa/Eagle Head mimarileri, token üretimini paralelleştirerek NPU kullanımını (utilization) %90’a çıkarır. In-Memory Computing (IMC) / Compute-in-Memory (CIM) araştırmaları (SRAM/ReRAM/MRAM tabanlı analog MAC), 100+ TOPS/W hedefleriyle laboratuvarlardan fabrika çıkışına (TSMC/Samsung 28nm/22nm IMC) geçiş yapıyor. Gelecek 5-10 yılda: Heterojen Bütünleşik Çipler (Chiplets/3D Stacking) ile NPU, CPU, GPU ve HBM (High Bandwidth Memory) tek pakette birleşecek; “Unified Memory” mimarisi, 100GB/s+ bant genişliği ile 70B+ modellerin uçta (edge server/PC) çalışmasını standartlaştıracak. Agentic AI (Araç kullanımı, planlama) için sürekli, düşük gecikmeli NPU çalışması (Always-On NPU) zorunlu hale gelecek.

Bölüm 8: Merak Edilen Sorular ve Cevaplar

Soru 1: Pik TOPS (Örn: 45 TOPS) veren bir NPU, neden 7B modelde 45 TOPS performans vermez?

Cevap: Pik TOPS, en ideal koşullarda (INT8, yoğun matris çarpımı, sıfır gecikmeli bellek erişimi, maksimum voltaj/frekans) hesaplanan teorik tavan değeridir. Gerçek LLM çıkarımında; bellek bant genişliği darboğazı (Memory Bound), KV Cache yazma/okuma maliyeti, quantizasyon/dequantizasyon overhead’i, kernel launch gecikmeleri ve termal sınırlamalar nedeniyle hesaplama birimleri (MAC arrays) sürekli veri beslenemez. Roofline modeline göre “Operational Intensity” yetersiz kaldığında performans “Peak Compute” değil “Peak Memory Bandwidth” ile sınırlanır. Bu nedenle Etkin TOPS genellikle Pik TOPS’un %40-60’ı civarındadır.

Soru 2: Yerel LLM çalıştırmak için minimum bellek (RAM) ve NPU TOPS gereksinimi nedir?

Cevap: Pratik bir kullanıcı deneyimi (Batch=1, >10 tok/s, Context 4K) için; 7B Parametreli Model (INT4/GPTQ/AWQ) ≈ 3.5 – 4 GB model ağırlığı + ~1-2 GB KV Cache + OS/Framework overhead = Minimum 8 GB Unified RAM (12/16 GB önerilir). NPU tarafında; ≥ 15-20 Etkin TOPS (INT8) veya ≥ 30-40 Pik TOPS hedeflenmelidir. 1B-3B modeller 5-10 TOPS ile çalışır ancak akıl yürütme (reasoning) yeteneği ciddi oranda düşer.

Soru 3: INT4 Quantizasyon (GPTQ/AWQ) model kalitesini ne kadar bozar? FP16 mı INT4 mü tercih edilmeli?

Cevap: 7B ve üzeri modellerde INT4 (GPTQ/AWQ), FP16/BF16’ya göre Perplexity kaybı %1-3, MMLU/benchmarks kaybı %0.5-2 seviyesindedir; genellikle kabul edilebilir. Ancak 3B ve altı modellerde bilgi kapasitesi zaten dar olduğu için INT4 “bunalım” (collapse) ve hallüsinasyon riskini artırır. Strateji: 7B+ modellerde INT4 standarttır; 1B-3B modellerde INT8 veya FP16/BF16 (bellek yeterliyse) tercih edilmelidir. Hassas katmanları (embedding, output head, attention) INT8/FP16 tutan “Mixed Precision” en iyi dengedir.

Soru 4: NPU, GPU ve CPU’den LLM çıkarımında nasıl farklıdır? Neden ayrı bir birim gerekir?

Cevap: CPU: Düşük paralellik, yüksek gecikme, kontrol akışı odaklı; LLM için çok yavaş (1-3 tok/s). GPU: Yüksek paralellik, yüksek bant genişliği, ancak SIMT yapısı ve büyük register dosyaları nedeniyle idle power ve area efficiency düşüktür; batch işleme için idealdir. NPU: Dataflow/Weight-Stationary mimari, düşük precision (INT8/INT4) MAC yoğunluğu, yerel SRAM tamponları ve DMA kontrollü deterministik veri hareketi ile Batch=1 (Real-time) çıkarımda TOPS/W ve TOPS/mm² metriklerinde GPU/CPU’ya 5-10 kat üstündür. Fanless cihazlarda sürekli AI için tek çözümdür.

Soru 5: “Hybrid AI” (Hibrit AI) mimarisi nedir ve NPU’yu nasıl etkiler?

Cevap: Hybrid AI; modelin bir kısmının (örn. Embedding, küçük taslak model – Speculative Decoding) uç cihaz NPU’sunda, zor/kritik kısımların (büyük doğrulama modeli, uzun context işleme) bulut/edge sunucu GPU’larında çalıştırılmasıdır. NPU için bu; her zaman tam model yükü taşımak zorunda kalmamak anlamına gelir. Küçük bir “Draft Model” (örn. 68M-1B param) NPU’da çok hızlı (50-100 tok/s) token üretir, büyük model bulutta onaylar/reddeder. Bu, uç cihaz NPU kapasitesi (TOPS/RAM) altındaki modellerin de büyük model kalitesinde sonuç vermesini sağlar. Qualcomm Snapdragon ve MediaTek Dimensity SDK’ları buna native destek verir.

Soru 6: Geliştirici olarak modelimi NPU’ya nasıl deploy ederim? Hangi araç zinciri (toolchain) kullanmalıyım?

Cevap: Standart yol: PyTorch Model -> ONNX Export -> Vendor SDK Converter/Compiler -> Runtime Library.
1. Quantization: Optimum/Intel Neural Compressor / AMD Quark / AutoAWQ / LLM-Compressor ile INT4/INT8 yapın.
2. Export: torch.onnx.export (opset >= 17, dynamic axes için).
3. Compile:
– Qualcomm: SNPE snpe-onnx-to-dlc -> libsnpe.so / QNN SDK.
– MediaTek: NeuroPilot mtk_nn_converter -> .neuropilot model.
– Apple: coremltools convert -> .mlpackage -> Core ML Delegate.
– Intel/AMD (PC): OpenVINO ovc / Ryzen AI vaip -> IR/ONNX quantized.
– Açık/Çapraz Platform: MLC-LLM / TVM Unity / IREE / ONNX Runtime (ORT) NNAPI/QNN/EP Delegates. MLC-LLM şu an en pratik LLM deploy aracıdır.

Bölüm 9: Bilmeniz Gereken Temel Terimler

TOPS (Trillion Operations Per Second): Saniyede trilyon işlem sayısı. NPU performansının ham metriği. Genellikle INT8 precision için verilir. “Pik TOPS” teorik maksimum, “Sürekli TOPS” termal/bant genişliği sınırlı gerçek değerdir.

Quantizasyon (Quantization – PTQ/QAT): Model ağırlıklarını ve aktivasyonlarını FP32/FP16’dan INT8/INT4/FP8 gibi düşük bit genişliklerine dönüştürme. PTQ (Post-Training) eğitim gerektirmez, QAT (Quantization-Aware Training) eğitim sırasında sahte quantizasyon simülasyonu yaparak doğruluk kaybını minimize eder.

KV Cache (Key-Value Cache): Transformer mimarisinde Attention mekanizmasının her token üretiminde önceki tokenların Key/Value vektörlerini saklayarak yeniden hesaplamayı önleyen bellek yapısı. Uzun context (bağlam) için RAM tüketiminin ana kaynağıdır (Örn: 7B INT4, 4K context ≈ 1.5-2 GB KV Cache).

Memory Bandwidth (Bellek Bant Genişliği): İşlemci ile DRAM (LPDDR5X) arası veri aktarım hızı (GB/s). LLM çıkarımında “Memory Bound” olduğu için, TOPS’dan daha kritik performans belirleyicisidir. Unified Memory mimarilerinde CPU/GPU/NPU paylaşır.

Roofline Model: Hesaplama performansını (FLOPS/TOPS) ve bellek bant genişliğini (Bytes/s) eksenlerine alarak, bir kernel’ın “Compute Bound” (hesaplama sınırlı) mı “Memory Bound” (bellek sınırlı) mı olduğunu gösteren görsel/analitik model. Operasyon Yoğunluğu (FLOPs/Byte) kesişimini belirler.

Speculative Decoding: Küçük bir “Draft Model” ile birden fazla token tahmin edilip, büyük “Target Model” ile tek seferde doğrulanması (verification) yöntemi. Doğrulanan token sayısı kadar hızlanma sağlar (Batch decoding benzeri etki). NPU’da küçük model çok hızlı çalıştığı için idealdir.

Operator Fusion (Operatör Birleştirme): Birden fazla ardışık operatörü (Örn: Conv + BatchNorm + ReLU -> Fused Conv) tek bir kernel çağrısında birleştirme. Bellek trafiğini (global memory read/write) azaltarak gecikmeyi ve enerjiyi düşürür. NPU derleyicilerinin en kritik optimizasyonudur.

Unified Memory (Birleşik Bellek): CPU, GPU, NPU’nun fiziksel olarak aynı DRAM havuzunu (LPDDR5X) paylaştığı, veri kopyalama (memcpy) gerektirmeyen mimari (Apple M-serisi, Snapdragon Elite, Intel Core Ultra, AMD Ryzen AI). Sıfır kopyalı (zero-copy) tensör paylaşımı sağlar.

Bölüm 10: Özet ve Çıkarılması Gereken Dersler

NPU mimarisi, uç cihazlarda yapay zekayı “bulut bağımlılığı”nden kurtarıp “yerel zeka”ya dönüştüren donanımsel omurgadır. Analizlerimiz; ham TOPS rakamlarının yanıltıcı olduğunu, gerçek performansın Bellek Bant Genişliği (GB/s), SRAM Kapasitesi, Quantizasyon Destek Matrisi (INT4/FP8) ve Derleyici Olgunluğu (Operator Coverage/Fusion) dörtlüsü tarafından belirlendiğini kanıtlamıştır. 2025-2026 stratejik penceresi için; karar vericilerin Pik TOPS değil, MLPerf Inference / MLMark gibi standart benchmarklardaki “Sürekli Token Hızı (tok/s) / Watt” metriklerini satın alma kriteri yapması şarttır. Geliştirici ekibi için; MLC-LLM / ONNX Runtime / IREE gibi satıcıdan bağımsız (vendor-agnostic) derleyici yığınlarına yatırım, donanım ömrünü uzatacak ve model portabilitesini garanti altına alacaktır. Gelecekte “Agentic AI” ve “Personal LLM” senaryoları, NPU’yu arka planda sürekli çalışan (Always-On), düşük güçlü (sub-Watt) bir “Sinirsel İşlemci” konumuna itecektir. Bu nedenle, bir sonraki nesil donanım beslemesinde (SoC selection) NPU SRAM boyutu, LPDDR5X-9600+ destekli kontrolcü ve FP8/INT4 Mixed Precision Donanım Hızlandırıcıları öncelikli teknik şartnamede yer almalıdır. Tekno Show ekosistemi için; bu metrikler üzerinden standardize edilmiş “Edge AI Performans Skoru” geliştirilmesi, tüketicinin ve kurumsal alıcının karmaşık TOPS pazarlamasından kurtarıp, gerçekçi yerel LLM deneyimi vaat eden cihazları ayırt etmesini sağlayacaktır.