İçeriğe geç
TeknoShow
RSS
Yapay Zekâ

Google, 8. Nesil TPU’sunu Eğitim ve Çıkarım Çiplerine Ayırarak Yapay Zeka Ajanlarının Donanım Ekonomisini Yeniden Şekillendirmesini Sağladı

Yayın:

Google, 8. nesil TPU’sunu iki özel çipe ayırdı: eğitim için TPU 8t ve çıkarım için TPU 8i. Bu hamle, mühendislik ve FinOps ekiplerinin kapasite…

X’te paylaş Facebook
Google, 8. Nesil TPU’sunu Eğitim ve Çıkarım Çiplerine Ayırarak Yapay Zeka Ajanlarının Donanım Ekonomisini Yeniden Şekillendirmesini Sağladı

Google, 8. nesil TPU’sunu iki özel çipe ayırdı: eğitim için TPU 8t ve çıkarım için TPU 8i. Bu hamle, mühendislik ve FinOps ekiplerinin kapasite planlamasını, modelleri çok adımlı ajan iş yüklerine uyarlamasını ve tamamlanan her görev başına servis maliyetlerini takip etmesini yeniden şekillendiriyor.

Ajan tabanlı iş yükleri, paylaşılan GPU varsayımını yıktı. Google’ın 8. nesil TPU’sunu eğitim için bir çip ve çıkarım için bir çip olarak ayırma kararı, yapay zeka ajanlarının altındaki donanım ekonomisini nasıl değiştirdiğini gösteriyor.

google splits eighth-generation TPU into training and inference chips as AI agents reshape hardware economics - 1

Google, TPU’yu Eğitim ve Çıkarım Silikonlarına Ayırdı

Paylaşılan bir GPU filosu iki farklı görevi yerine getirir. Aynı çipler bir modelin eğitimine haftalar harcar, ardından model yayımlandıktan sonra kullanıcı isteklerini yanıtlar. Bu nedenle kümeler, bütçeler ve yol haritaları tek bir donanım havuzuna göre şekillenir. Bu yapı artık değişmeye başlıyor ve modelleri üretimde çalıştıran ekipler bunu ilk olarak kapasite planlaması ve maliyet incelemelerinde hissedecek. Google Cloud ortağı Cloudfresh, Google Cloud Danışmanlık Hizmetleri aracılığıyla bu süreci yönetiyor. Nisan 2026’da düzenlenen Google Cloud Next etkinliğinde Google, ilk kez iki ayrı çip içeren 8. nesil TPU’yu duyurdu: eğitim için TPU 8t ve çıkarım için TPU 8i. Google, sınır modellerinin üretime geçmesiyle birlikte çıkarım talebinin artacağını öngördüğünü ve ajanların eğitim ile servis için özel çiplerden faydalanacağı sonucuna vardığını belirtti.

Ajanlar Neden Genel Amaçlı Bir Hızlandırıcıyı Zorluyor?

Eğitim, işlem kapasitesini ödüllendirir: bir çipin saniyede işlediği veri ne kadar fazlaysa, model o kadar hızlı hazır olur. Ajanlar ise donanımı farklı kullanır. Google’ın açıklamasına göre ajan tabanlı modeller sorunları mantıksal olarak çözer, çok adımlı iş akışları yürütür ve sürekli döngülerde kendi eylemlerinden öğrenir. Her adım bir öncekinin tamamlanmasını bekler, bu nedenle bellek erişimi ve gecikme, ham işlem gücü kadar önemli hale gelir. TPU 8i bu soruna yönelik tasarlandı. 288 GB yüksek bant genişlikli belleği, önceki neslin üç katı olan 384 MB çip içi SRAM ile birleştirerek modelin aktif çalışma kümesini çip üzerinde tutar. Google’ın belirttiği neden, büyük ölçekli ajanlar arasındaki etkileşimlerin küçük verimsizlikleri bile büyütmesidir. Google ayrıca her iki çipin de her iki tür iş yükünü de çalıştırabildiğini, ancak uzmanlaşmanın verimlilik kazanımları sağladığını belirtiyor. Genel amaçlı donanımlar hala ajanları çalıştırabiliyor. Ancak her ekip artık iki görev için tek bir paylaşılan filoyu sürdürmenin ne kadar verimlilik kaybına yol açacağına karar vermek zorunda.

Bu Ayrım Maliyet Çizgisini Nasıl Değiştiriyor?

Google’ın kendi verileri bu verimliliği ölçüyor. Şirket, TPU 8i’nin önceki nesle göre dolar başına %80 daha iyi performans sunduğunu ve aynı maliyetle neredeyse iki kat daha fazla müşteri hacmini hizmet verebileceğini belirtiyor. Ayrıca her iki yeni çipin de Ironwood’a göre watt başına iki katına varan performansa ulaştığını söylüyor. Enerji verimliliği önemli bir faktör, çünkü Google’a göre güç tüketimi, günümüz veri merkezlerinde çip tedarikinin yanı sıra bir darboğaz haline geldi. FinOps ekipleri için pratik değişiklik ölçüm biriminde yatıyor. Eğitim ve servis artık farklı fiyat eğrilerine sahip donanımlarda çalıştığından, tek bir birleştirilmiş hızlandırıcı saati çizgisi her ikisini de gizliyor. Eğitim harcamaları başlangıcı ve sonu olan bir proje gibi davranırken, servis harcamaları bir ajanın işlediği her istekle artar. Bunları iki ayrı bütçeye ayırmak ve servisi tamamlanan görev başına maliyet olarak takip etmek, hangi ajanların işlem gücünü hak ettiğini gösteriyor.

Mantık Zinciri Boru Hatlarını Çalıştıran Ekipler İçin Ne Değişiyor?

Bir ajanın etrafındaki yazılım, altındaki çipi ne kadar verimli kullandığını belirler ve Google bu katmanı da yeniden inşa etti. Vertex AI, Gemini Enterprise Agent Platform’una dönüştü. Bu platform, günlerce durumunu koruyabilen uzun süreli ajanları destekleyen bir Ajan Çalışma Zamanı ile birlikte, bir ajanın üretimdeki mantık adımlarını adım adım izleyen Ajan Değerlendirmesi ve Ajan Gözlemlenebilirliği özelliklerini sunuyor. Bu izler, bir ajanın nerede döngüye girdiğini, tekrar denediğini veya bir görev için gerekenden daha büyük bir modeli çağırdığını gösterebilir; servis maliyeti de tam burada birikir. Model seçimi, ekiplerin kontrol edebildiği ikinci faktördür. Platform, Model Garden aracılığıyla Gemini 3.1 Pro, açık kaynaklı Gemma 4 ve Anthropic’in Claude modelleri de dahil olmak üzere 200’den fazla model sunuyor. Böylece bir boru hattının her adımı, o adıma uygun boyutta bir modelle çalıştırılabilir.

Cloudfresh’in Kurucu Ortağı, Genel Müdürü ve Google Cloud & Veri Analitiği Uzmanı Oleh Maksymovych’e göre kararların sırası önemli: “Bir ajan üretime girdiğinde soru, bir modeli nasıl eğiteceğimizden ziyade her bir yanıtın ne kadar maliyete sahip olduğuna kayar. Bu yüzden iş yüküyle başlarız: hangi görevlerin büyük bir modele ihtiyacı var, hangileri daha küçük bir modelle iyi çalışır ve her biri ne sıklıkla çağrılır? Donanım kararı bundan sonra gelir.” Cloudfresh’in Google Cloud üzerindeki bir projesi bu yaklaşımı gösteriyor. Randevu ve kadın ruh sağlığı uygulamalarında 80 milyondan fazla kullanıcısı olan bir ürün şirketi, başlangıçta açık kaynaklı Gemma modellerini kiralanan GPU’lar ve daha sonra dış yapay zeka sağlayıcıları üzerinden kullanarak çeşitli yapay zeka senaryoları oluşturdu. Kullanım durumlarının sayısı arttıkça ekip, üretimde daha fazla istikrar, ölçeklenebilirlik ve kontrol ihtiyacı duydu. Gemini’ye geçtikten sonra, belirli görevler için özel modeller seçilip üretim yüküne göre istek maliyetleri optimize edildiğinde, profil inceleme kapsamı maliyet veya kaynak talebini artırmadan %17’den %100’e yükseldi. Şirkete göre profillerin yaklaşık %80’i beş saniyeden kısa sürede otomatik olarak onaylanıyor. Her özel çip ile birlikte bağlı kalma endişesi haklıdır. Google, her iki TPU 8 platformunda da JAX, MaxText, PyTorch, SGLang ve vLLM için yerel desteği listeliyor. Böylece bu çerçevelerle model sunan ekipler, TPU 8i’yi zaten kullandıkları araçlarla değerlendirebilirler.

Ekipler, halihazırda kullandıkları donanımla hazırlanabilirler. Her hızlandırıcı iş yükünü eğitim veya servis olarak etiketleyin, servis maliyetini bunu oluşturan ajan ve göreve bağlayın ve bir görevin çıktısından daha büyük bir modeli çağırdığı durumları işaretleyin. Bu harita hazır olduğunda, servisi çıkarım için özel donanıma taşımak, ekibin kendi rakamlarına dayanarak ajan başına bir hesaplama haline gelir.

Adı: Google Cloud Danışmanlık Hizmetleri

Bulut danışmanlık ortağı: cloudfresh | @cloudfresh_com

Designboom bu projeyi okurlarımızın DIY gönderimlerinden aldı. Okurlarımızı kendi çalışmalarını yayımlamak için göndermeye davet ediyoruz. Okurlarımızdan gelen diğer proje gönderimlerini buradan görebilirsiniz.

İlginizi Çekebilir: Yapay Zeka İnsan Deneyimlerinden Anlamlı Kalıplar Çıkaramıyor mu? →

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Ağ Bağlantıları:Televizyon • Teknoloji • Apple Destek • Donanım Rehberi • Fiyat Karşılaştırma
\n\n