AI Kümesi Ağ Tasarımı: Spine-Leaf, RoCE ve NIC'ler

Yapay zeka kümesi ağ tasarımı, GPU sunucusu NIC'lerini, yaprak omurga bant genişliğini, aşırı abonelik oranını, RoCE ayarlarını, optikleri ve kablolamayı, küme ölçeklendikçe dağıtılmış eğitim trafiğinin öngörülebilir kalmasını sağlayacak şekilde boyutlandırma sürecidir. Bunlardan herhangi birini yanlış anladığınızda GPU - değil, ağ - darboğaz haline gelir.

AI Küme Ağı Neden Farklıdır?

Geleneksel bir kurumsal veri merkezinde ağ, kuzey-güney kullanıcı trafiği, depolama erişimi, sanallaştırma ve yönetimin bir karışımını yönetir. Doğu-batı trafiği mevcuttur ancak nadiren baskın yüktür. Bir yapay zeka kümesinde durum tersine dönüyor. Dağıtılmış eğitim çalıştıran GPU sunucuları, işin her adımında değişim değişimlerini ve parametreleri senkronize eder. Bu iletişim hesaplamanın bir parçasıdır, yan etkisi değildir.

30.000 ABD doları değerindeki bir GPU, tüm-azaltma işlemleri sırasında zamanının %30'unu ağda bekleyerek geçirirse, küme, işlem kapasitesinin %30'unun boşta kalması için etkili bir şekilde ödeme yapar. Yapay zeka ağının bu kadar dikkat çekmesinin ekonomik nedeni budur.

Üç iş yükü özelliği tasarımı yönlendirir:

• Yoğun doğu-batı trafiği.Tümü-azalt, tümü-topla ve azalt-dağılımı gibi kolektif iletişim işlemleri, aynı anda birçok düğümde senkronize patlamalar üretir.
• Kuyruk-gecikme hassasiyeti.Tek bir yavaş düğüm tüm eğitim adımını geciktirir. Tahmin edilebilir gecikme, ortalama gecikmeden daha önemlidir.
• Büyümenin ölçeğini-uzaklaştırın.32 GPU ile başlayan kümeler genellikle 18 ay içinde 256 veya 1.024'e çıkar. Kumaş yeniden tasarlanmadan ölçeklendirilmelidir.

Omurga-Yaprak Neden Yapay Zeka Kümelerine Uyuyor?

Spine-yaprak, hiper ölçekli veri merkezleri için standart yapıdır çünkü her sunucu-sunucuya-sunucu yoluna aynı atlama sayısını ve aynı teorik bant genişliğini verir. Yapay zeka iş yükleri için bu tekdüzelik, doğrudan daha öngörülebilir eğitim adım süreleri anlamına gelir.

Omurga{0}yaprak topolojisinde GPU sunucuları yaprak anahtarlarına bağlanır ve her yaprak her omurgaya bağlanır. GPU-GPU'ya-herhangi bir iletişim tam olarak bir yaprağı, bir omurgayı ve bir yaprağı daha geçer. Değişken gecikme süresi veya tıkanma noktaları getiren toplama katmanları yoktur.

Öngörülebilir Gecikme

Eşit-maliyetli çok-yollu (ECMP) yönlendirme, akışları omurga anahtarları boyunca yayar. Uyarlanabilir yönlendirme veya dinamik yük dengeleme ile doğru şekilde yapılandırıldığında bu, bazı akışların diğerlerinden çok daha yavaş olmasına neden olan karma çarpışmalarını önler - az sayıda ancak büyük akışlar taşıyan statik ECMP yapılarında bilinen bir sorundur ve bu tam olarak yapay zeka eğitiminin ürettiği şeydir.

Yüksek İkiye Bölmeli Bant Genişliği

İkiye bölme bant genişliği, kümenin herhangi iki eşit yarısı arasında mevcut olan aktarım hızıdır. Yapay zeka eğitimi, yaprak-omurgaya-yukarı bağlantı kapasitesinin, sunucuların karşı karşıya olduğu aşağı bağlantı kapasitesine eşit veya neredeyse eşit olduğu-engellenmeyen veya-yakın{-engellenmeyen tasarımlardan yararlanır. IETF bu kavramları şu şekilde tanımlar ve tartışır:RFC7938, büyük-ölçekli veri merkezlerinde yaygın olarak kullanılan BGP{0}yönlendirilmiş Clos yapılarını kapsar.

Daha Kolay Ölçeklendirme-Uzatma

Daha fazla sunucu eklemek için daha fazla yaprak ekleyin. Daha fazla ikiye bölme bant genişliği eklemek için daha fazla diken ekleyin. Birkaç bin GPU'nun ötesindeki kümeler için, süper-omurga (5-aşamalı Clos) veya ray için optimize edilmiş topoloji, aynı prensibi bir katman daha genişletir.

Yapay Zeka Küme Ağının Temel Bileşenleri

GPU Sunucuları ve NIC'ler

NIC, kumaşın ana bilgisayarla buluştuğu yerdir. Yapay zeka kümelerinde NIC seçimi, aşağı yöndeki her şeyi - anahtar bağlantı noktası hızını, optik seçimini ve kablolama yoğunluğunu yönlendirir.

Yapay zeka iş yükleri için seçim kriterleri:

• Bağlantı noktası hızı:Bağlantı noktası başına 200G, 400G veya 800G. GPU üretimi ve PCIe bant genişliği ile eşleştirin.
• PCIe üretimi:400G NIC'nin ana bilgisayar tarafında kısıtlamayı önlemek için PCIe Gen5 x16'ya ihtiyacı vardır. PCIe Gen4 x16, ~256 Gbps'de kullanılabilir.
• RDMA ve RoCEv2 desteği:NCCL gibi çekirdek-GPU iletişim kitaplıklarını atlamak için gereklidir.
• GPUDirect RDMA:Ana bilgisayar belleği kopyalarını kaldırarak GPU'nun-NIC DMA'ya-doğrudan bağlanmasına izin verir.
• Çoklu-ray özelliği:Birçok AI sunucusu, demiryolu için optimize edilmiş topolojiler için, GPU çifti başına bir tane olmak üzere düğüm başına 4 veya 8 NIC kullanır.

Günümüzde tipik bir 8 GPU'lu sunucu, iş yüküne ve bütçeye bağlı olarak ya 4 × 400G NIC (iki GPU başına bir) veya 8 × 400G NIC (GPU başına bir) kullanıyor. Referans mimarileriNVIDIA Ağ belgeleritasarım değişikliklerini ayrıntılı olarak ele alın.

Yaprak ve Omurga Anahtarları

Yapay zeka yapılarına yönelik anahtar seçim kriterleri, kurumsal seçimden farklıdır. Arabellek boyutu, tıkanıklık kontrol davranışı ve telemetri, özellik genişliğinden daha önemlidir.

• Bağlantı noktası hızı ve yarıçap başına-:51,2 Tbps anahtar ASIC, 64×800G bağlantı noktaları veya 128×400G bağlantı noktaları sunar. Radix kumaşın ne kadar düz olabileceğini belirler.
• Tampon mimarisi:Derin tamponlar, anlık patlamaları emer ancak gecikmeyi artırır. Sığ arabellekler gecikmeyi azaltır ancak hassas tıkanıklık kontrolü gerektirir.
• RoCE özellik seti:ECN işaretleme, PFC, DCQCN veya eşdeğer tıkanıklık kontrolü ve öncelik sıralarının uçtan uca doğru şekilde işlenmesi{0}.
• Telemetri:Bant içi ağ telemetrisi (INT), kuyruk başına derinlik raporlaması ve ECN işaretleri ve PFC duraklamaları için mikrosaniyelik-çözünürlük sayaçları.

Optik, DAC ve AOC Kablolama

400G ve 800G'de kablolama tesisi gerçek bir mühendislik sorunu haline gelir. Form faktörleri, bağlantı bütçeleri ve ara yapılandırmaların tümü erken planlama gerektirir.

• DAC (Doğrudan Bağlantılı Bakır):400G için ~3 metreye kadar, en düşük maliyet ve en düşük güç. Ölçek olarak ağır ve hantal.
• AOC (Aktif Optik Kablo):~30 metreye kadar, DAC'den daha incedir ancak sabit-uzunluğa sahiptir ve her iki uçta da optik güç tüketir.
• Takılabilir optikler:AOC mesafesinin ötesinde gereklidir. QSFP-DD ve OSFP form faktörleri 400G/800G'de hakimdir. MPO/MTP fiber düzenekleri paralel-fiber bağlantıları yönetir.

400G/800G'de raflar arası bağlantılar ve yapısal kablolama için MPO sonlandırmaları üzerinden paralel optikler artık standarttır. Ana kablolar ve bağlantı düzenekleri arasındaki seçim, anahtar bağlantı noktası tahsisinize bağlıdır - bkz.MPO koparma kablosu kılavuzupratik seçim mantığı ve daha geniş kapsamlıMPO gövdesi ve koparma karşılaştırmasıyaprak-omurgaya-çalışmaları planlarken.

Yapay Zeka Yapılarında RoCE ve Kayıpsız Ethernet

RoCEv2 (Birleşik Ethernet v2 üzerinden RDMA), yapay zeka iş yükleri için baskın Ethernet aktarımıdır. NIC'lerin, her iki uçta da çekirdek katılımı olmadan verileri doğrudan GPU bellek bölgeleri arasında taşımasına olanak tanır. Neredeyse tüm dağıtılmış eğitim çerçevelerinin altında yatan GPU iletişim kütüphanesi olan NCCL, InfiniBand mevcut olmadığında RoCEv2'yi kullanır.

RoCE doğru şekilde yapılandırıldığında iyi çalışır. Yanlış yapılandırıldığında çirkin bir şekilde başarısız olur.InfiniBand Ticaret BirliğiRoCE spesifikasyonlarını yayınlar ve çoğu NIC ve anahtar satıcısı, uçtan uca{0}}takip edilmesi gereken ayrıntılı yapılandırma kılavuzları yayınlar.

Kayıpsız Davranış Neden Önemlidir?

RDMA, kayıpsız bir taşıma varsayılarak tasarlanmıştır. Paketler düştüğünde, RDMA kurtarma pahalıdır - geri-geri git-N yeniden iletim, bir eğitim adımını milisaniyeler boyunca durdurabilir ve bu, mikrosaniyelik-ölçekli RDMA bütçesine göre çok büyük bir değerdir.

Ethernet'te kayıpsız davranışa yaklaşmak için yapı birlikte çalışan iki mekanizma kullanır:

• PFC (Öncelikli Akış Kontrolü, IEEE 802.1Qbb):Bir anahtar, arabelleği dolduğunda belirli bir öncelik kuyruğundaki gelen trafiği duraklatır. Bu bir son-çare mekanizmasıdır.
• ECN (Açık Tıkanıklık Bildirimi, RFC 3168):Kuyruklar bir eşiğe yaklaştığında anahtarlar paketleri işaretler. NIC, arabellekler gerçekten dolmadan gönderme hızını azaltır; ideal olarak PFC'yi tamamen ortadan kaldırır.

Amaç, PFC'yi bir güvenlik ağı olarak kullanarak ECN'nin neredeyse tüm tıkanıklık yönetimini yapmasıdır. Kararlı durum trafiğinde sık sık PFC duraklamaları görüyorsanız-ECN eşikleriniz yanlıştır veya yapınız gereğinden küçük boyuttadır.

Yaygın RoCE Dağıtım Hataları

Yapay Zeka Küme Ağı Nasıl Tasarlanır: Çalışma Çerçevesi

Bu, çoğu "Yapay zeka ağı oluşturma" makalesinin atladığı bölümdür. Aşağıdaki yedi adım size her aşamada somut girdiler ve çıktılar sağlar.

1. Adım: İş Yükünü ve Ölçeği Tanımlayın

Girişler:İş yükü türü (ön eğitim,-ince ayar, çıkarım, karma), bugünkü hedef GPU sayısı, 18 ay içindeki hedef GPU sayısı, model boyutu aralığı.

Çıkış:NIC hızını ve aşırı abonelik toleransını bildiren bir iş yükü profili. Sınır modellerinin kapsamlı ön eğitimi,-engelleyici olmayan 400G+ kumaşlar gerektirir. İş yüklerinin-ince ayarlanması 2:1 aşırı aboneliği tolere edebilir. Çıkarım kümeleri genellikle daha düşük bant genişliğine ancak daha düşük kuyruk gecikmesine ihtiyaç duyar.

Adım 2: NIC Hızını ve Sunucu Başına Sayıyı Seçin

Karar mantığı:

• Büyük modellerin, 8 GPU'lu sunucuların ön eğitimi → Sunucu başına 4–8× 400G NIC veya 4× 800G
• Orta-ölçekli eğitim, 8 GPU'lu sunucular → Sunucu başına 2–4× 400G NIC
• Çıkarım hizmeti → Model paralelliğine bağlı olarak sunucu başına 1–2× 200G veya 400G NIC

Ana bilgisayardaki PCIe bant genişliğini doğrulayın. Tek bir 400G bağlantı noktasının hat hızında çalışması için PCIe Gen5 x16 gerekir; 800G'ye ikiye katlamak için Gen6 veya iki yuvaya bölme gerekir.

Adım 3: Yaprak Katmanını Boyutlandırın

Çalışılan örnek - 32-düğüm kümesi, düğüm başına 8 GPU, düğüm başına 4× 400G NIC:

• Sunucuya yönelik toplam-bağlantı noktası ihtiyacı: 400G'de 32 × 4=128 bağlantı noktası
• Düğüm başına aşağı bağlantı bant genişliği: 4 × 400=1.6 Tbps
• Toplam küme aşağı bağlantı bant genişliği: 32 × 1.6=51.2 Tbps

64 bağlantı noktalı 400G yaprak anahtarı (toplam 25,6 Tbps kapasite) kullanılarak, her yaprak 32 sunucu bağlantı noktasını bağlayabilir ve geri kalan 32 bağlantı noktasını yukarı bağlantı olarak kullanabilir. 4 yaprakla 128 sunucu bağlantı noktasının tamamını kapsıyorsunuz. Her yaprak, omurgaya doğru 32 × 400G=12.8 Tbps'lik yukarı bağlantıya katkıda bulunur.

Adım 4: Omurga Katmanını Boyutlandırın

Engelleyici olmayan (1:1) bir tasarım için- toplam yukarı bağlantı kapasitesi, toplam aşağı bağlantı kapasitesine eşit olmalıdır. 3. Adımdan:

• Gerekli toplam yaprak yukarı bağlantısı: 4 yaprak × 12,8 Tb/sn=51.2 Tb/sn
• Her omurgada 32× 400G bağlantı noktası=12.8 Tbps varsa, 4 omurgaya ihtiyacınız vardır
• Her yaprak, omurga başına 8 yukarı bağlantı kullanarak 4 dikenin tamamına bağlanır (yaprak başına 8 × 400G × 4=12.8 Tbps - eşleşme)

64 bağlantı noktalı 400G omurga anahtarları kullanılıyorsa her omurganın kümeyi büyütmek için yedek kapasitesi vardır; bu, 1. Adımdan itibaren 18 aylık plan için faydalıdır.

Adım 5: Aşırı Abonelik Oranını Ayarlayın

Adım 6: Bilgi İşlem, Depolama ve Yönetim Trafiğini Ayırın

İzolasyonu artırmak için üç seçenek:

• QoS sınıflarıyla paylaşılan yapı:Ayrı DSCP önceliklerinde bilgi işlem, depolama ve yönetim. En düşük maliyet; dikkatli QoS yapılandırması gerektirir.
• Mantıksal olarak ayrılmış VLAN'lar/VRF'ler:Aynı donanım, ayrı kontrol düzlemleri. Çok-kiracılı kümeler için kullanışlıdır.
• Fiziksel olarak ayrı kumaşlar:Bilgi işlem ve depolama için özel NIC'ler, anahtarlar ve kablolar. En yüksek maliyet; herhangi bir çekişmenin kabul edilemez olduğu sınır-modeli kümelerinde yaygındır.

Yapay zekaya yönelik depolama trafiğinin kendisi ağırdır. Büyük bir model için - kontrol noktası yazımı, kısa aralıklarla yüzlerce gigabaytı taşıyabilir. Bunu açıkça planlayın. Yüksek-yoğunluklu bir yapısal kablolama tesisiMPO/MTP ana kablolarıparalel yapıların aynı fiziksel altyapıda çalıştırılmasını basitleştirir.

Adım 7: Üretimden Önce Doğrulayın

Ağ-düzeyindeki testler bazı sorunları yakalar. Gerisini iş yükü-düzeyi testleri halleder.

• Bant genişliği:her düğüm çifti arasında iperf3 veya ib_send_bw; NIC hat oranının %90+'ına ulaşmalıdır.
• Gecikme:ib_read_lat veya benzeri; Sadece ortalamayı değil, dağılımı da kontrol edin. P99.9 ortalamadan daha önemlidir.
• Paket kaybı:Yük altında 24-saatlik ıslatma testini çalıştırın; RoCE trafik sınıfında sıfır olmayan herhangi bir kayıp bir sorundur.
• ECN işaretleme davranışı:PFC tetiklenmeden önce işaretlerin göründüğünü doğrulayın; Kararlı durumda PFC duraklamaları sık oluyorsa yeniden ayarlayın.
• Toplu iletişim:NCCL testlerini (all_reduce_perf, all_gather_perf) tam küme boyutunda çalıştırın. Satıcı referans numaralarıyla karşılaştırın.
• İş{0}düzeyi testi:Temsili bir eğitim işini 4-6 saat boyunca yürütün. Uygun boyuttaki bir modelde GPU kullanımını izleyin - %50'nin altındaki sürekli değerler-genellikle bir ağ sorununa işaret eder.

Geleneksel Veri Merkezi Ağı ve Yapay Zeka Omurgası-Yaprak Yapısı

Ethernet RoCE vs InfiniBand: Hızlı Karar Kılavuzu

Bu soru neredeyse her yapay zeka kümesi projesinde ortaya çıkıyor. İkisi de çalışıyor. Seçim genellikle saf performansa değil, operasyonel uygunluğa göre yapılır.

• Aşağıdaki durumlarda InfiniBand'ı seçin:Ekibiniz zaten InfiniBand yapılarını kullanıyor, kayıpsız taşımaya giden en basit yolu istiyorsunuz veya tamamen-entegre bir satıcı referans mimarisi satın alıyorsunuz.
• Aşağıdaki durumlarda Ethernet RoCE'yi seçin:Operasyon ekibiniz Ethernet-yereldir, çok-satıcılı anahtar seçeneklerini istiyorsunuz, AI yapısını mevcut veri merkezi ağlarıyla entegre etmeniz gerekiyor veya mevcut InfiniBand topolojilerinin temiz bir şekilde desteklediğinin ötesinde ölçeklendirme öngörüyorsunuz.

2023 yılında kurulan Ultra Ethernet Konsorsiyumu, özellikle yapay zeka iş yüklerine yönelik Ethernet geliştirmelerini standartlaştırma üzerinde aktif olarak çalışıyor. 2026'daki çoğu yeni küme için Ethernet RoCE, aksini seçmek için özel bir neden olmadığı sürece savunulabilir bir varsayılandır.

Kaçınılması Gereken Yaygın Hatalar

NIC'leri Kontrol Etmeden Anahtarları Yükseltme

NIC'leriniz 400G'de çalışıyorsa veya ana bilgisayar PCIe'nizin bant genişliği tükeniyorsa 800G anahtar yapısı sizin için hiçbir şey yapmaz. Önce ana bilgisayar tarafını, ardından anahtar tarafını tasarlayın. PCIe Gen5 x16, tek bir bağlantı noktasını yaklaşık 504 Gbps gerçek-dünya aktarım hızıyla ({8}} 400G için rahat, 800G için marjinal) sınırlar.

Bağlantı Noktası Hızını Optimize Etme Ancak Kablolama Yoğunluğunu Göz Ardı Etme

64-bağlantı noktası 400G çıkışında, her anahtarın altındaki kablolar planlama yapılmadan fiziksel olarak yönetilemez hale gelebilir. Uygun olan yerlerde ara kablolar kullanın, fiberleri yapılandırılmış yollardan geçirin ve konnektör türlerini standartlaştırın. Yüksek hızlarda konnektör kalitesi ve sonlandırma önemlidir - bizimfiber optik konnektör türleri kılavuzuLC, MPO ve ortaya çıkan yüksek{0}yoğunluklu form faktörleri arasındaki dengeleri kapsar.

RoCE'yi Tak{0}}ve-Çalıştır olarak ele almak

Gerçek yapay zeka kümelerindeki en büyük tasarım hatası, yanlış anahtarı seçmemek -, ne kadar uçtan uca{1}RoCE yapılandırma çalışmasının gerekli olduğunu hafife almaktır. ECN eşiklerini, PFC önceliklerini ve MTU tutarlılığını ayarlamak için bütçe süresi. Herhangi bir üretim iş yükü çalıştırılmadan önce özel bir doğrulama aşaması planlayın.

QoS Olmadan Tüm Trafiği Tek Yapıda Karıştırma

Depolama çoğaltma, izleme aracıları ve yönetim trafiği, arabellekleri bilgi işlem trafiğiyle paylaşırlarsa eğitim adım sürelerini bozabilir. Bunları fiziksel olarak ayırın veya ayrı öncelikler ve ECN yapılandırmasıyla katı QoS sınıflarını zorunlu kılın.

Yalnızca Bugünün Kümesi için Oluşturma

Çoğu yapay zeka kümesi, ilk dağıtımdan sonraki iki yıl içinde 4-8 kat büyür. Sorunsuz genişlemeye izin veren anahtar tabanını ve omurga kapasitesini-seçin. Canlı bir yapay zeka veri merkezinde kabloları çekmek pahalıdır; Dağıtım zamanında kanal ve yama kapasitesinin planlanması ucuzdur.

400G'den 800G'ye Ne Zaman Yükseltilmeli?

800G NIC'ler ve anahtarlar mevcuttur ancak bağlantı noktası başına daha pahalıdır. Aşağıdaki durumlarda adım atmayı düşünün:

• GPU başına-bant genişliği ihtiyaçları, 400G'nin sağlayabileceğini aşar -; örneğin, H100 ve NVLink 5'e sahip daha yeni GPU'lar, daha yüksek harici bant genişliği bekler
• NCCL'nin tümü-zamanları azaltır, küme boyutuyla zayıf şekilde ölçeklenir, bu da ağ doygunluğunu gösterir
• 400G'deki kablo yoğunluğu fiziksel olarak yönetilemez hale geliyor - daha az 800G bağlantı noktası daha fazla 400G bağlantı noktasının yerini alabilir
• Yol haritanızdaki bir sonraki GPU neslinin, kümenin amortisman dönemi içinde buna ihtiyaç duyması bekleniyor
• Herhangi bir işlem boşta kalma süresinin optik yükseltmeden önemli ölçüde daha yüksek maliyetli olduğu bir sınır-modeli eğitim kümesi oluşturuyorsunuz

2026 yılında çoğu üretim kümesi için 400G, maliyet, ekosistem olgunluğu ve kapasite arasında doğru dengeyi koruyacaktır. 800G, üst düzeyde ve bugün inşa edilen ve 4-5 yıl boyunca faaliyet göstermesi beklenen kümeler için ileriye yönelik bir yatırım olarak mantıklıdır.

Çözüm

En güçlü AI küme ağı, en hızlı anahtarlara sahip olan ağ değildir. NIC seçiminin, yaprak/omurga boyutunun, fazla aboneliğin, RoCE yapılandırmasının, trafik ayrımının ve fiziksel kablolamanın birbirini ve seçildikleri iş yükünü desteklediği yerdir.

İş yükünden ve 18-aylık büyüme planından başlayın. Her katmandaki bant genişliği ihtiyaçlarını yalnızca temel kuralları değil, gerçek sayıları kullanarak hesaplayın. RoCE'yi uçtan uca-uca-yapılandırın ve gerçek kolektif iletişim kıyaslamalarıyla doğrulayın. Kablolama tesisi için bütçe - 400G ve 800G'de fiziksel katman artık önemsiz değil.

Her eğitim adımında GPU'larını %95+ kullanımla meşgul eden küme, tüm bu katmanlara dikkat eden kümedir. Daha hızlı bir anahtar ve daha yavaş bir yapıyla birlikte gelen küme, GPU'ların neden boşta olduğunu açıklamak için yıllarını harcayacak.

İleri Okuma

• Büyük-Ölçekli Veri Merkezlerinde RFC 7938 - BGP
• InfiniBand Trade Association - RoCE spesifikasyonları
• NVIDIA Ağ Belgeleri
• Fiber Optik Kablo Kurulum Kılavuzu
• Ekleme Kaybı ve Geri Dönüş Kaybının Açıklaması