AI Küme Ağı Tasarım Kılavuzu: RoCEv2, Kayıpsız Ethernet ve 400G/800G GPU Yapısı

Jul 07, 2026

Mesaj bırakın

Bir GPU kümesinde ağ, destekleyici bir katman değildir -, pahalı hızlandırıcıların işlem yapıp yapmadığına veya verileri boşta bekleyip beklemediğine karar verir. Yapay zeka kümesi ağı, eğitim hızını, GPU kullanımını ve işin tamamlanma süresini doğrudan şekillendirir ve genel-amaçlı bir veri merkezi ağından çok farklı davranır. Bu kılavuz, GPU iş yükleri için kayıpsız bir yapının nasıl tasarlanacağını kapsar: topoloji, RoCEv2 yapılandırması, 400G/800G optikler ve kablolama ve bant genişliği testini geçen bir yapıyı, eğitim işlerini zamanında bitiren bir yapıdan ayıran doğrulama.

Yapay Zeka Küme Ağı Tasarımı

İyi-oluşturulmuş bir AI küme yapısı, ön uç ve arka uç trafiğini ayırır, arka uç için-engellemeyen veya düşük-aşırı abonelik yaprağı-omurga topolojisi kullanır, ECN'nin PFC'den önce hareket etmesini sağlayacak şekilde ayarlanmış PFC, ECN ve DCQCN ile RoCEv2'yi çalıştırır, tek başına varsayılan ECMP yerine sıkışıklık-farkında yük dengeleme ile büyük akışları yayar, bugün 400G'yi standart hale getirir 800G'ye giden yolu netleştirir ve yalnızca basit performans testleriyle değil, toplu trafik - gibi yapay zekayla ilişkilendirilen telemetriyle de doğrulanır-.

Bir Bakışta Yapay Zeka Küme Ağı Tasarımı

Karar Önerilen varsayılan
Trafik alanları Ayrı ön uç ve arka uç kumaşları
Arka uç topolojisi Yaprak-omurga,-engellenmeyen veya düşük abonelik
Taşıma PFC + ECN + DCQCN ile RoCEv2
Yük dengeleme Tıkanıklığa- duyarlı / dinamik, tek başına varsayılan ECMP değil
Bağlantı noktası hızı Planlanan 800G geçişiyle şimdi 400G
Doğrulama Telemetri artı toplu (NCCL) trafik, yalnızca iperf değil

AI cluster network fabric connecting GPU servers with leaf-spine switches

Yapay Zeka Küme Ağı Nedir?

AI küme ağı, GPU sunucularını, depolamayı, yönetim düğümlerini ve bazen eğitim veya çıkarım amacıyla birden fazla veri merkezi alanını{0}bağlayan yüksek performanslı bir yapıdır. Tek bir küme çeşitli trafik türlerini - GPU-GPU iletişimine, sunucular arasında RDMA, depolama okuma ve yazma işlemleri, veri kümesi alımı, kontrol noktası oluşturma, günlüğe kaydetme ve düzenleme - taşır, ancak performansa-en duyarlı kısım, dağıtılmış eğitim sırasında GPU'yu-GPU trafiğine taşıyan arka uç eğitim yapısıdır. Bu yapı yavaş veya öngörülemez olduğunda GPU'lar hesaplamak yerine bekler.

Yapay zeka yapısının normal bir veri merkezi ağından farklı değerlendirilmesinin nedeni budur. Ham bant genişliği önemlidir, ancak gecikme tutarlılığı, tıkanıklık davranışı, paket kaybı, telemetri derinliği, topoloji ve hatta optik güç tüketimi de önemlidir.

Yapay Zeka İş Yükleri Ağı Neden Farklı Şekilde Zorluyor?

Dağıtılmış eğitim sürekli olarak senkronize edilir

Büyük modeller, Tümü-Küçült ve Tümünden-Tümüne-gibi koordineli aşamalar - kolektif modellerinde gradyanları ve aktivasyonları değiştiren birçok GPU üzerinde eğitilir. Sonuç açıktır: En yavaş yol, tüm eğitim adımını geciktirebilir. Bağlantıların %99'u sağlıklı olsa bile, sıkışık bir raf-omurgaya-bağlantı, GPU'yu herkesin beklediği başıboş bir hale getirebilir.

Kuyruk gecikmesi ortalama gecikmeyi değil GPU'ları boşa harcar

Ortalama gecikme burada yanlış ölçümdür. Bir senkronizasyon adımı son GPU'nun gelmesini beklediğinden, bir avuç gecikmiş paket tüm işi geciktirebilir. 256 GPU'lu bir kümede, bir raya kuyruk gecikmesi ekleyen tek bir sıcak omurga bağlantısı, iş genelinde kullanımı azaltabilir.

Yapay zeka trafiği fil akışlarından oluşuyor

Geleneksel ağlar pek çok küçük akışla denge kurar; Yapay zeka kümeleri, birkaç büyük,{0}}uzun ömürlü GPU-GPU'ya-akışı oluşturur. Varsayılan ECMP karma işlemi, baytları değil akışları dağıtır; dolayısıyla aynı raf-omurga bağlantısına-birden fazla karma akışı gerçekleştiğinde, paralel bağlantılar boşta kalırken - bu bağlantı ısınır ve sıra oluşumuna, gecikme artışlarına ve sonunda düşüşlere neden olur. Daha yüksek bağlantı noktası hızı bu sorunu tek başına çözmez: 400G'lik bir bağlantı, üzerine kötü karma akışı olursa yine de tıkanır.

Paket kaybı özellikle pahalıdır

Sıradan TCP kaybı tolere eder; RoCEv2-tabanlı RDMA bunu yapmaz. Yapının düşük-kayıplı veya kayıpsız davranması beklenir ve tıkanıklık sırasındaki düşüşler RDMA performansını çökertebilir. RoCEv2 yapısının en iyi çabayla iletme yerine kasıtlı kayıpsız mühendisliğe ihtiyaç duymasının tam nedeni budur.

Yapay Zeka Kümesi Ağı için Temel Gereksinimler

İyi bir arka uç yapısının aynı anda birden fazla gereksinimi karşılaması gerekir: yüksek ikiye bölmeli bant genişliği sayesinde birçok GPU, yapı darboğaz haline gelmeden aynı anda konuşabilir; Düşükve öngörülebilirgecikme, çünkü ara sıra meydana gelen tıkanıklık artışları yüksek ortalama gecikme kadar zararlıdır; RoCEv2 için kayıpsız veya-kayıpsıza yakın taşıma; şerbetçiotu ve kablolara yığılmadan ölçeklenen bir topoloji; ve derin operasyonel görünürlük. Telemetrinin olmadığı bu son noktada -, ekipler rutin olarak bir ağ tıkanıklığı sorununu GPU veya bilgi işlem sorunu olarak yanlış teşhis eder ve yanlış katmanı kovalayarak günler harcarlar.

Yapay Zeka Kümesi Ağ Mimarisi: Ön Uç ve Arka Uç Yapısı

En önemli erken karar, ön uç ağının arka uç eğitim dokusundan ayrılıp ayrılmayacağıdır. Ön uç, kullanıcı erişimini, yönetimi, orkestrasyonu, izleme, günlüğe kaydetmeyi, depolama erişimini, veri kümesi alımını ve kontrol noktası aktarımlarını taşır -, depolama ve kontrol noktası oluşturma hala gerçek verim gerektirse de, geleneksel bir veri merkezi ağına çok benzeyebilir. Arka uç, GPU'dan-GPU'ya-GPU eğitim trafiğine ayrılmıştır ve RDMA, düşük gecikme süresi, kayıpsız aktarım ve öngörülebilir bant genişliği için optimize edilmiştir.

Bu ayrım teorik değildir. Meta'nın yayınlanmış çalışmasıGeniş ölçekte dağıtılmış yapay zeka eğitimi için RoCE ağlarıtam olarak bu bölünmeyi açıklıyor: veri alımı, kontrol noktası oluşturma ve günlüğe kaydetme gibi görevler için bir ön uç ağı ve GPU iletişimi için RDMA NIC'leri-engelleyici olmayan bir mimaride bağlayan özel bir arka uç RoCEv2 yapısı. OnlarınMeta ölçeğinde Ethernet üzerinden RDMA hakkında SIGCOMM 2024 makalesitasarım ilkesi olarak aynı fikri çerçeveliyor: önce iş yükünü anlayın, ardından GPU eğitimini kendi arka uç ağına ayırın, böylece bağımsız olarak gelişip ölçeklenebilsin.

Neden işe yarıyor: Alan adlarını ayırmak performansın öngörülebilirliğini, sorun giderme netliğini, izolasyonu ve tıkanıklık-kontrol ayarlarını iyileştirir. Depolama, yönetim ve eğitimin tümü dikkatli bir QoS olmadan tek bir yapıyı paylaşıyorsa, yoğun bir kontrol noktası yazımı, eğitim iletişimini mümkün olan en kötü anda durdurabilir. Meta'nın tasarımında, yaprak anahtarlar GPU'ları bakır DAC üzerinden bir rafa bağlarken raf-omurgaya-omurga bağlantıları 400G alıcı-vericilerle tek-modlu fiber üzerinde çalışır -, yapılandırılmış yapıyı temiz bir şekilde eşleştiren bir modelMPO/MTP devre kablolamasıyaprak ve omurga katmanları arasında.

Frontend and backend network separation in an AI cluster

RoCEv2 ve Kayıpsız Ethernet: Birlikte Nasıl Çalışırlar?

RDMA (Uzaktan Doğrudan Bellek Erişimi), bir sistemin minimum CPU kullanımıyla başka bir sistemin belleğini okumasına veya yazmasına olanak tanır; bu, düşük-gecikme, yüksek-iş hacmine sahip GPU'dan-GPU'ya aktarımı mümkün kılar. RoCEv2, bu RDMA trafiğini UDP/IP'de kapsülleyerek Ethernet üzerinden taşır, böylece yapıyı standart Ethernet anahtarlaması üzerinde oluşturabilirsiniz.

Çekiciliği ekosistemin genişliğidir. Ethernet, büyük bir tedarikçi tabanına, olgun operasyonlara ve anahtar silikonu, optik ve aletlerde hızlı bir gelişime sahiptir.Ultra Ethernet Konsorsiyumubunu temel argümanı haline getiriyor: açık, birlikte çalışabilen, çok sağlayıcılı bir Ethernet yığını, artık 1.0 spesifikasyonuyla resmileştirilmiş, satıcıya bağlı kalmadan-yapay zeka ve HPC ağlarını ölçeklendirmek için tasarlandı-. NVIDIA, ürün tarafında da aynı yöne doğru ilerledi -Spectrum-X Ethernet platformuStandart Ethernet'e kayıpsız aktarım, uyarlanabilir yönlendirme ve -ağ içi telemetri ekleyen, yapay zeka için özel olarak tasarlanmış Ethernet olarak konumlandırılmıştır.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

RoCEv2 kayıpsız yapısı, bileşen bileşen

"Kayıpsız" tek bir anahtar değil, işbirliği yapan mekanizmaların bir yığınıdır. Aşağıdaki tablo bir tasarımın gerçekte ihtiyaç duyduğu ayrıntı düzeyini göstermektedir.

Bileşen Rol Neden önemli?
Trafik sınıflandırması (DSCP/PCP) RDMA'yı kayıpsız sınıfa yerleştirir Yanlış işaretleme RDMA'yı kayıplı bir kuyruğa gönderir
PFC Düşmeleri önlemek için bağlantı düzeyinde duraklatma- Bir güvenlik ağı; yanlış kullanım, fırtınaların duraklamasına ve-satır başı-engellenmesine neden olur
ECN Kuyruk taşmasından önce paketleri işaretler Kullanışlı olması için PFC'den önce tetiklenmesi gerekir
DCQCN ECN/CNP geri bildirimiyle yönlendirilen NIC hız kontrolü PFC'nin ateşleme sıklığını azaltır
Dinamik / uyarlanabilir yük dengeleme Fil akışlarını yollara yayar Varsayılan ECMP karması bağlantıları sıcak ve boşta bırakır
Telemetri Düşüşleri, ECN işaretlerini, PFC duraklamalarını ve kuyruk derinliğini ortaya çıkarır Kumaş sağlığını iş sağlığıyla ilişkilendirmenin tek yolu

Bunların birlikte ayarlanması gerekiyor. Kritik ilişki, ECN eşiğinin yerine getirilmesi gerektiğidiraltındaGiriş PFC eşiği, böylece gönderenler duraklatma çerçevelerine ihtiyaç duyulmadan önce yavaşlar. ArdıçDCQCN belgeleribu dengeleme eylemini tam olarak açıklamaktadır: ECN'nin iletim hızını erken keserek akış kontrolünü yapmasına izin verin, böylece akışı tamamen durduran PFC - - en aza indirilir. ECN'yi çok yüksek yapılandırırsanız PFC ilk önce ve sıklıkla tetiklenir; PFC'yi çok agresif bir şekilde yapılandırırsanız fırtınaları duraklatırsınız.

Bunun pratikte anlamı şudur: PFC sayaçları bir başarı ölçütü değildir. PFC duraklatma çerçeveleri normal eğitim çalışmaları sırasında istikrarlı bir şekilde tırmanıyorsa, yapı sağlıklı değildir - trafiği duraklatarak tıkanıklıktan kurtulmaktadır. Gerçekten sağlıklı bir kumaş, ECN'nin işi yaptığını ve PFC'nin nadiren ilgi gösterdiğini gösterir.

Yaygın Yapay Zeka Kümesi Ağ Oluşturma Zorlukları ve Bunların Çözümü

1. Zorluk: Kuyruk gecikmesi ve başıboş kalanlar

Sorun:senkronize eğitimde yavaş bir yol tüm işi geciktirir.Yapmak:arka ucu düşük-atlamalı tutun; gereksiz aşırı abonelikten kaçının; ortalamaları değil kuyruk gecikmesini izleyin; tıkanıklığı-farkında olan yük dengelemeyi kullanın; noktadan{2}}noktaya-testler yerine kolektif trafik modelleriyle doğrulama yapın.Pratikte:GPU kullanımı her senkronizasyon aralığını aşan bir iş, genellikle bir hesaplama sınırına değil, başıboş bir yola ulaşıyor.

2. Zorluk: Tıkanıklık ve fil-akışı çarpışmaları

Sorun:birkaç büyük akış aynı bağlantıya iner ve bir sıcak nokta oluşturur.Yapmak:büyük bir AI yapısı için varsayılan ECMP'ye güvenmeyin; dinamik/uyarlanabilir yük dengelemeyi etkinleştirin; bağlantı başına izleme-omurgası kullanımı ve sıra derinliği; Tıkanıklık devam etmeden önce ECN ve DCQCN'nin gönderenleri kısmasına izin verin.Pratikte:diğer her şeyle birlikte eşit olmayan omurga{0}}bağlantısı kullanımı, yetersiz bant genişliğinin değil, zayıf akış karmasının işaretidir.

3. Zorluk: 400G'den 800G'ye ölçeklendirme

Sorun:GPU sayısı arttıkça,{0}düşük hızlı bağlantılar daha fazla anahtar, katman, optik ve kablolamayı zorunlu kılar.Yapmak:GPU ve raf başına gerekli bant genişliğini hesaplayın (GPU başına 400G NIC'ye sahip 8-GPU sunucusu, 200G tasarımdan çok farklı bir yapıdır); engellememeye mi yoksa bilerek fazla abone olunmaya mı karar verecek; anahtar yarıçapını, bağlantı noktası hızını ve topoloji derinliğini birlikte düşünün; 400G'den 800G'ye geçiş yolunu, buna zorlanmadan önce planlayın; İlk günden itibaren tasarımda optik, kablolama ve gücü koruyun.

Zorluk 4: Güç, soğutma ve optik seçimi

Sorun:Yapay zeka yapıları, özellikle yüksek bağlantı noktası hızlarında ve optik yoğunlukta ciddi güç çekiyor.Yapmak:pratik olduğunda kısa raf bağlantıları için DAC'yi- kullanın; daha uzun raf-omurgaya-çalışmalar için AOC veya optik alıcı-vericiler kullanın; gücü optik seçenekler arasında karşılaştırın; yüksek-yoğunluktaki bağlantı noktalarındaki termal sınırları doğrulamak; kablolamayı ve hava akışını birlikte tasarlayın. Arasında seçim yapmaktek-modlu ve çok modlu alıcı-vericilerbüyük ölçüde erişim-maliyete karşı-bir karardır ve kümenin tamamı için bir kez değil, bağlantı sınıfı başına yapılmalıdır.

Optik gücü artık bir dipnot değil,-birinci dereceden tasarım kısıtlamasıdır. NVIDIA'nın çalışmalarıSpectrum-X Ethernet Photonics ile güç-verimli yapay zeka yapılarıeğilimi doğrudan gösteriyor: geleneksel takılabilir optiklerle karşılaştırıldığında bağlantı noktası başına gücü{-kesmek ve bağlantı kapaklarını azaltmak için ortak-paketlenmiş silikon fotonikler kullanılıyor, çünkü alıcı-vericiler büyük bir kümedeki hem en yüksek-güçlü hem de en yüksek-başarısızlık-oranlı bileşenler arasında yer alıyor.

5. Zorluk: Görünürlük ve kör noktaların giderilmesi

Sorun:telemetri olmadan ağ sorunu bilgi işlem sorununa benzer.Yapmak:paket düşüşlerini, ECN işaretlerini, PFC duraklatma çerçevelerini, kuyruk doluluğunu, bağlantı hatalarını, bağlantı noktası kullanımını, akış dağıtımını, NIC tıkanıklık sayaçlarını, GPU kullanımını ve iş tamamlama süresini - izleyin, ardından yapı metriklerini AI iş metrikleriyle ilişkilendirin. Sessiz görünen bir anahtar-sağlıklı bir eğitim işini garanti etmez ve yoğun bir GPU da yararlı bir ilerlemeyi garanti etmez.

Yapay Zeka Küme Ağı için RoCEv2 ve InfiniBand Karşılaştırması

Hem RoCEv2/Ethernet hem de InfiniBand gerçek yapay zeka ve HPC kümelerini çalıştırır; seçim ölçeğe, ekip becerilerine, ekosisteme, maliyet modeline ve operasyonel hedeflere bağlıdır. Aşağıdaki tablo, mutlak bir sıralama değil, editoryal bir karşılaştırmadır - doğru yanıt iş yüküne- ve kuruluşa- özgüdür.

Faktör RoCEv2 / Ethernet InfiniBand
Ekosistem Geniş, çok tedarikçili, tanıdık operasyonlar Güçlü HPC mirası, olgun{0}}yüksek performans yığını
Operasyonlar Ethernet becerilerini yeniden kullanır ancak dikkatli, kayıpsız ayarlama gerektirir Sıkı bağlı HPC için- amaca uygun olarak tasarlanmış, daha uzmanlaşmış
Kaynak esnekliği Genellikle daha fazla satıcı seçeneği Genellikle daha entegre bir yığın
Performans Düzgün tasarlandığında ve ayarlandığında güçlü Sıkı bir şekilde birleştirilmiş kümelerdeki düşük gecikme süresiyle bilinir
Ölçeklendirme Kasıtlı topolojiye, tıkanıklık kontrolüne ve telemetriye ihtiyaç var Büyük HPC{0}}tarzı kumaşlar için güçlü seçenekler
En uygun Ethernet esnekliği ve yapay zekaya-hazır bir RoCEv2 tasarımı isteyen ekipler Entegre, kanıtlanmış, sıkı bir şekilde bağlı HPC'ye öncelik veren ekipler

Asıl soru soyut olarak hangi teknolojinin kazandığı değil. Seçilen yapının hedef GPU ölçeğinizde öngörülebilir bant genişliği, düşük gecikme süresi, düşük kayıp ve operasyonel görünürlük sağlayıp sağlayamayacağıdır.

GPU Ölçeği ve Ağ Tasarımı

64-GPU laboratuvar kümesi ve multi-bin GPU üretim kümesi, farklı bağlantı noktası sayısına sahip aynı proje değildir. Ölçek tasarımı değiştirir.

Küme ölçeği Tipik tasarım Birincil odak
~64'e kadar GPU (laboratuvar / pilot) Tek-katmanlı veya küçük iki-katmanlı yaprak-omurga, genellikle tek anahtar alanı Doğru RoCEv2 yapılandırması, temiz kablolama, temel telemetri
~128–512 GPU -İki-katmanlı yaprak-omurgayı engellemeyen, ön uç/arka uç ayrımı Aşırı abonelik hedefi, dinamik yük dengeleme, ECN/PFC ayarı
~1.000–4,000+ GPU (üretim) Çok-katmanlı veya demiryolu-optimize edilmiş, veri-merkezi-ölçekli arka uç Topoloji{0}}bilinçli planlama, 400G/800G, güç ve optik yoğunluk

Adım-Adım-Adım AI Küme Ağı Tasarım Çerçevesi

1. Adım: İş yükünü ve GPU ölçeğini tanımlayın

Anahtar modeliyle değil, iş yüküyle başlayın. İşin eğitim mi, ince ayar mı, çıkarım mı yoksa karma mı olduğunu, beklenen toplu kalıpları, kontrol noktası boyutunu, depolama trafiği hacmini ve kümenin tek- mi yoksa çok- kiracılı mı olduğunu, şimdiki ve sonraki döngüdeki GPU sayısını netleştirin.

2. Adım: Trafik alanlarını ayırın

Ön uçta ve arka uçta neyin ait olduğuna karar verin: yönetim, depolama ve kontrol noktası, eğitim/RDMA ve trafiğin izlenmesi. Küçük dağıtımlar için VLAN'lar ve QoS ile mantıksal ayırma yeterli olabilir; daha büyük kümeler için, ön uç ile arka uç arasındaki fiziksel ayrımın çalıştırılması ve üzerinde düşünülmesi genellikle daha kolaydır.

3. Adım: Topolojiyi ve aşırı abonelik hedefini seçin

Yaprak-omurga, ölçeklenebilir AI Ethernet yapıları için varsayılandır. Bir, iki veya daha fazla seviyeye karar verin; -engellememe ve aşırı abone olma; Raf başına GPU'lar; Sunucu başına NIC'ler; uplink hızı ve sayısı; omurga kapasitesi; ve başarısızlık etki alanı boyutu. Arka uç eğitim trafiği için, aşırı aboneliğin daha düşük olması öngörülebilirliği satın alır - ve aşırı abone olursanız bunu bağlantı noktası sayımlarından kaynaklanan bir tesadüf değil, ölçülen iş yükü davranışına dayalı kasıtlı bir oran haline getirin.

4. Adım: Anahtar hızını ve bağlantı noktası yoğunluğunu seçin

400G'ye karşı 800G, radix, toplam kapasite, arabellek mimarisi, RoCEv2/PFC/ECN/DCQCN desteği, telemetri, bağlantı noktası başına güç ve NOS/otomasyonu değerlendirerek gerekli bant genişliği, topoloji ve büyüme - açısından geçiş platformlarını seçin. Hızı tek başına değerlendirmeyin: Doğru tıkanıklık kontrolü, ara belleğe alma ve telemetri olmadan yapılan hızlı bir geçiş, yapay zeka trafiğinde yine de sorun yaratacaktır.

5. Adım: NIC'leri, optikleri, DAC/AOC'yi ve kablolamayı planlayın

Kumaş anahtarlardan daha fazlasıdır. GPU başına NIC hızını, NIC'i-değiştirme-bağlantı türünü, kısa bakır bağlantılar için DAC'yi, daha uzun çalışmalar için AOC ve optik modülleri, mesafe için tek-modlu optikleri ve fiber tesisi, yama düzeni, etiketleme ve hizmet erişimini planlayın. Takılabilir form faktörünü doğru şekilde kullanmak burada önemlidir - aQSFP-DD ve OSFP form-faktörüne genel bakış400G/800G'de anahtar ve NIC bağlantı noktalarını işlemeden önce bir göz atmaya değer. Kablolama tarafında, yüksek-yoğunluklu bir anahtar bağlantı noktasını-sunucu başına bağlantılara bölmek genellikle şu anlama gelir:MPO--LC- ara kablolamasıve fiber kalitesi pratikteki - mesafeye göre eşleştirilmelidirçok modlu fiber erişim sınırları (OM1–OM5)çoklu modun nerede hala çalışacağına ve nerede tekli{0}}moda ihtiyaç duyulacağına karar verin. Zayıf kablolama tasarımı, teknik olarak doğru bir topolojinin çalışmasını zorlaştırabilir.

Bağlantı sınıfı Tipik mesafe Ortak seçim
Raf içi GPU'dan-yaprağa- ~3 m'nin altında DAC (bakır)
Bitişik-raf ~3–7 m AOC veya DAC
Bir salonda yapraktan-omurgaya- Onlarca metreden ~100 m'ye kadar Çok modlu (OM4/OM5) + SR optiği veya tek-mod
Salonlar/DC-ölçeği genelinde ~100 m ila 2 km Tek-modlu + 400G/800G alıcı-vericileri

6. Adım: Kayıpsız aktarım ve tıkanıklık kontrolünü yapılandırın

Bu, dağıtımın en hassas kısmıdır. RoCEv2 trafiğini doğru şekilde sınıflandırın ve doğru önceliğe eşleştirin; bu öncelikte PFC'yi etkinleştirin; ECN eşiklerini PFC eşiğinin altına ayarlayın; NIC'lerin amaçlanan DCQCN yanıtını uyguladığını doğrulayın; ilgisiz trafiği kayıpsız sınıfın dışında tutun; ve duraklatma fırtınalarını ve-satır başı- engellemesini açıkça test edin. PFC'yi sıkışık bir ağı çalıştırmanın günlük yolu olarak değil, bir güvenlik mekanizması olarak ele alın.

7. Adım: Test trafiği gibi telemetri ve yapay zeka-ile doğrulama

Üretim işleri çalıştırılmadan önce uçtan uca bant genişliğini, gecikme dağılımını, kuyruk gecikmesini, paket düşüşlerini, ECN işaretleme davranışını, PFC duraklatma sıklığını, bağlantı-arızasını kurtarmayı, akış dağıtımını ve yük altında GPU iş performansını doğrulayın. Basit iperf verimi yeterli değil - ECN işaretini, PFC duraklatmasını, kuyruk derinliğini ve NCCL'yi doğrulayın-performansı azaltırbirlikteçünkü noktadan{0}}noktaya-testleri geçen bir yapı hâlâ senkronize kolektif iletişimde boğulabilir.

SSS: AI Küme Ağı

S: RoCEv2 gerçekten yapay zeka eğitimi için InfiniBand'ın yerini alabilir mi?

C: Birçok küme için, Ethernet yapısı uygun şekilde tasarlanıp ayarlandığında evet -. Büyük operatörler, RoCEv2 arka uçlarında üretim eğitimi veriyor ve hem Ultra Ethernet Konsorsiyumu hem de NVIDIA Spectrum-X gibi tedarikçi platformları, Ethernet'i özellikle AI-ölçekli performansa doğru itiyor. Buradaki uyarı, RoCEv2'nin kasıtlı kayıpsız mühendislik gerektirmesidir; amaca yönelik olarak oluşturulmuş bir HPC yapısının-olabileceği gibi, kutudan çıktığı haliyle "sadece çalışmaz".

S: 400G yerine ne zaman 800G'ye ihtiyacım olacak?

C:-GPU başına ve-raf başına bant genişliği talebi, katman, kablo ve optik eklemeden 400G bağlantılarının taşıyabileceği miktarı aştığında. GPU başına yüksek-hızlı NIC'ye sahip yoğun sunucular ve aksi takdirde aşırı aboneliğin devreye gireceği daha büyük kümeler olağan tetikleyicilerdir. 800G'nin bir yeniden tasarım değil, bir adım olmasını sağlayacak şekilde geçiş yolunu erkenden planlayın.

S: PFC yanlış yapılandırılırsa ne olur?

C: Zayıf PFC yapılandırması duraklama fırtınalarına,-hat-başının engellenmesine ve sıkışıklığın yayılmasına neden olabilir; burada bir bağlantıyı duraklatmak yapıdaki trafiği yedekler. Bu nedenle ECN, tıkanıklık sinyalinin çoğunu taşımalı ve PFC nadiren devreye girmelidir; Normal çalışma sırasında artan PFC sayaçları bir başarı göstergesi değil, bir uyarı işaretidir.

S: Bir yapay zeka kümesi ağının fiziksel olarak izole edilmesi gerekiyor mu?

C: Her zaman değil, ancak daha büyük kümeler genellikle arka uç eğitim dokusunun ön uçtan fiziksel olarak ayrılmasından yararlanır. Depolama ve kontrol noktası patlamalarının kayıpsız eğitim sınıfının dışında tutulması koşuluyla, daha küçük dağıtımlar genellikle VLAN'lar ve QoS ile mantıksal ayırma kullanabilir.

S: DAC, AOC ve optik alıcı-vericiler arasında nasıl seçim yapabilirim?

C: Mesafeye ve güce göre. DAC,-raf bakır bağlantılarında kısa devre yapmaya uygundur; AOC biraz daha uzun, esnek çalışmaları kapsar; ve çok modlu veya tek-modlu fiber tutacaklı raf-omurgaya-ve çapraz-salon mesafelerine sahip optik alıcı-vericiler. Alıcı-vericiler hem yapı gücünde hem de arıza oranında büyük bir paya sahip olduğundan, optik güce ulaşmak ve tartmak için fiber derecesini eşleştirin.

S: Küçük GPU kümelerinin tam kayıpsız bir yapıya ihtiyacı var mı?

C: Hala doğru RoCEv2 yapılandırması - sınıflandırmasına, doğru önceliğe sahip PFC'ye ve PFC -'nin altında ECN'ye ihtiyaçları var, ancak küçük tek bir-alan kümesi, büyük yapıların gerektirdiği çok-katmanlı topolojiyi ve yoğun aşırı abonelik planlamasını sıklıkla atlayabilir. Kayıpsız davranış isteğe bağlı değildir; ölçeği genişletme-karmaşıklığı şudur.

Sonuç ve Sonraki Adım

Yapay zeka küme ağı, GPU'ların tek bir koordineli sistem olarak mı yoksa verileri boşta bekleyerek mi çalışacağına karar verir. Güçlü bir tasarım, yüksek bant genişliğini, öngörülebilir gecikmeyi, kayıpsız RoCEv2 aktarımını, ölçeklenebilir yaprak-omurga topolojisini, doğru optikleri ve kablolamayı ve yapı sağlığını iş sağlığıyla ilişkilendirmeye yetecek kadar derin telemetriyi birleştirir. Küçük kümeler temiz topolojiye ve doğru RoCEv2 yapılandırmasına sahiptir; büyük kümelerin aynı zamanda ön uç/arka uç ayrımı, tıkanıklığa duyarlı yük dengeleme, 400G/800G geçişi, güç yoğunluğu ve telemetri-güdümlü işlemleri de ele alması gerekir.

Bir sonraki en iyi adım, öncelikle girdilerinizi düzeltmektir: GPU ölçeği, iş yükü düzeni, raf tasarımı ve trafik alanları. Ardından eşleşecek anahtarları, NIC'leri, optikleri ve kayıpsız Ethernet yapılandırmasını seçin. GPU yapısının optik ve yapısal-kablolama tarafının kapsamını paralel olarak belirliyorsanız,veri merkezi fiber ve kablolama çözümleritrunk, breakout ve alıcı-verici seçimlerini topolojinize ve bağlantı mesafelerinize göre eşleştirmenize yardımcı olabilir. Yapay zeka altyapısında doğru ağ yalnızca daha hızlı değil aynı zamanda daha öngörülebilir, daha gözlemlenebilir ve ölçeklendirilmesi daha kolaydır.

 

Soruşturma göndermek