Yapay Zeka Çıkarım Ağları için InfiniBand ve RoCE Karşılaştırması

SeçmekInfiniBandçıkarım iş yükünüz öngörülebilir kuyruk gecikmesi nedeniyle yaşadığında veya öldüğünde veRoCE(Yakınsanmış Ethernet üzerinden RDMA), bir Ethernet yapısında RDMA-sınıf performansı istediğinizde, halihazırda sahip olduğunuz ekibinizle ölçeklendirebilir, paylaşabilir ve çalıştırabilirsiniz. Her iki seçenek de her yerde kazanmaz. Doğru çağrı, çıkarım düzeninize, p99 ve p999 gecikme hedeflerinize, GPU ölçeğinize, bütçenize ve ekibinizde gerçekte ne kadar kayıpsız-Ethernet ayarlama uzmanlığının bulunduğuna bağlıdır.

Ağ Neden Çıkarım Ekiplerinin Beklediğinden Daha Önemli?

Yıllar boyunca çıkarım, GPU hikayesinin kolay yarısı olarak değerlendirildi: tek bir düğüme yüklenen bir model, istekler bağımsız olarak sunulur, çok az doğu{0}}batı trafiği. O resim artık geçerliliğini yitirmiştir. Modern çıkarımlar giderek yaygınlaşıyor ve çeşitli desenler kumaş üzerinde gerçek bir baskı oluşturuyor.

• Tensör paralelliğitek bir katmanı GPU'lar arasında böler, böylece her jeton adımı aralarındaki tüm-azaltma veya tüm-toplama işlemlerini tetikler. Bu, GPU'ların bekleme sırasında engellediği sık, gecikme-hassas, çapraz-GPU trafiğidir.
• Boru hattı paralelliğietkinleştirmeleri genellikle düğümler arasında bir aşamadan diğerine aktarır ve her ileri geçişe düğümler arası bağımlılıklar ekler.
• Ayrıştırılmış önceden doldurma ve kod çözmeişlem-yoğun ön doldurma aşamasını gecikmeye-hassas kod çözme aşamasından ayırır ve ardından KV önbelleğini bunların arasına taşır. Bu aktarımlar büyük ve hızlıdır ve herhangi bir gecikme, doğrudan-ilk{-jetona-geçme süresinin daha yavaş olması ve jetonlar arası-gecikme süresi olarak kendini gösterir.
• Alma-artırılmış nesil (RAG)vektör ve arama hizmetlerine doğu{0}}batı trafiğini ekler. Genellikle toplu işlemlere göre daha az gecikme-kritiktir, ancak özellikle yüksek sorgu hacminde yine de yapıyı yükler.
• Çok-kiracılı sunumbirçok modeli ve kullanıcıyı aynı yapıya yerleştirir; burada mikro patlamalar ve gürültülü{0}komşu etkileri baskın risk haline gelir.

Ağda darboğaz olduğunda belirtiler pahalıdır:-ilk-tokene-geçme süresinin daha yüksek olması, GPU'ların verileri beklerken durması, patlamalar sırasında verimin düşmesi ve p95 ve p99'un kararsız olması. Ve işte karşılaştırmalı değerlendirmeleri tetikleyen kısım: ortalama gecikme bunların hepsini gizliyor. Üretim çıkarımı ortalamaya göre değil, kuyruğa göre değerlendirilir.

InfiniBand ve RoCE Karşılaştırması: Yapay Zeka Çıkarımına İlişkin Özet Tablo

InfiniBand Nedir?

InfiniBand, başlangıçtan itibaren düşük gecikme süresi, yüksek verim ve kayıpsız iletişim için-tasarlanmış, amaca yönelik oluşturulmuş bir ağ yapısıdır. Ethernet'in daha hızlı bir tadı değil. Kendi ana makine kanalı bağdaştırıcıları, anahtarları, alt ağ yöneticisi, kablolama ekosistemi ve tıkanıklık-kontrol modeliyle birlikte gelir. Tanımlayıcı değeri deterministik davranıştır: Birçok GPU sıkı zamanlama gereksinimleriyle iletişim kurabilir ve toplu trafik yoğun olduğunda bile yapı tutarlı davranmaya devam eder.

Modern yapay zeka odaklı InfiniBand platformları, doğrudan büyük GPU kümelerini hedef alan yeteneklerle bu tabanı genişletiyor. Örneğin NVIDIA'nın Quantum InfiniBand serisi şunu ekliyor:uyarlanabilir yönlendirme,-ağ içi bilgi işlem ve telemetri-tabanlı tıkanıklık kontrolüBu, yapının trafiği akıllıca yaymasına ve bir kiracının yükünü diğerinin yükünden izole etmesine yardımcı olur. Çıkarım açısından InfiniBand, iş yükünün titreşimi tolere edemediği veya birkaç GPU düğümünün hızlı ve tutarlı bir şekilde veri alışverişi yapması gerektiği durumlarda yerini alır.

Bu ödünler-maliyet, ekosistem yoğunlaşması ve operasyonel uzmanlaşmadır. Özel bir InfiniBand yapısı, özel anahtarlar, adaptörler, kablolar veya optik modüller ve InfiniBand yapı yönetiminde rahat olan mühendisler anlamına gelir. Halihazırda büyük Ethernet siteleri çalıştıran bir kuruluş için, ayrı bir yapı üzerinde bağlantı kurmak tedarik karmaşıklığını, yedek-parça planlamasını ve izleme yükünü artırır.

RoCE (Birleşik Ethernet üzerinden RDMA) Nedir?

RoCE, düşük CPU yüküyle doğrudan bellekten-belleğe veri hareketi olan RDMA'yı Ethernet ağlarına getiriyor. Modern veri merkezlerinde kullanılan sürüm olan RoCEv2, Katman 3 IP ağları üzerinden yönlendirilebilir veInfiniBand Ticaret Birliği. Bu yönlendirilebilirlik, RoCE'nin tanıdık NIC'leri, anahtarları, optikleri ve izleme araçlarını yeniden kullanırken Ethernet yaprak omurga tasarımlarına doğal bir şekilde uyum sağlamasına olanak tanıyan şeydir.

İşin püf noktası, RDMA aktarımlarının neredeyse-kayıpsız bir ağ varsaymasıdır. Bir paket bırakın ve aktarım, kuyruk gecikmesini bozan yeniden iletim davranışına geri döner. Dolayısıyla RoCE'nin kayıpsız bir yapı gibi davranması için altındaki Ethernet'e ihtiyacı vardır ve bu özellikle iki mekanizmanın dikkatli yapılandırılmasına bağlıdır:Öncelikli Akış Kontrolü (IEEE 802.1Qbb)düşmeleri önlemek için tek bir trafik sınıfını duraklatır veAçık Tıkanıklık Bildirimi (ECN)Bu, tıkanıklığı erkenden bildirir, böylece gönderenler ara bellek taşmadan önce yavaşlar. Bunlara kuyruk yönetimi, arabellek tahsisi ve QoS eşlemesi de eklendiğinde, yüksek-performanslı RoCE'nin sıradan bir Ethernet olmadığı açıkça ortaya çıkıyor.

İyi uygulandığında RoCE, çok çeşitli üretim çıkarım hizmetleri için yeterli gecikme ve aktarım hızı sağlar ve birçok çıkarım iş yükü, RoCE'nin lehine çalışan dağıtılmış eğitime göre daha az sıkı bir şekilde senkronize edilir. Kötü uygulandığında paket kaybı,-hat başı-bloklaması, sıkışıklığın yayılması ve dengesiz kuyruklara neden olur ve bunların tümü doğrudan hizmet kalitesinin düşmesine neden olur.

InfiniBand ve RoCE Gecikmesi: p99 Çıkarımı için Hangisi Daha İyi?

Her iki yapı da yüksek-bant genişliği ve düşük-gecikmeli ağ iletişimi sunabilir. Oraya nasıl ulaştıklarına göre farklılık gösterirler. InfiniBand yapısı itibarıyla belirleyici olduğundan karışık yük altında bile titreşim düşük kalır. RoCE bunu birçok iş yüküyle eşleştirebilir ancak sonuç, Ethernet yapısına ve ne kadar iyi ayarlandığına bağlıdır.

Dağıtım perspektifinden bakıldığında, üretimdeki asıl sorun nadiren en yüksek bant genişliğidir. Karışık, yoğun, çok-kiracılı trafiğin altında titreklik oluyor. Temiz, iperf-tarzı bir verim testinde başarılı olan bir RoCE kumaşı, mikro patlamalar ve çekişmeler ortaya çıktığı anda yine de p99 hedefini kaçırabilir. Laboratuvar kıyaslaması ile üretim SLA'sı arasındaki boşluk çoğu sürprizin yaşandığı yerdir.

InfiniBand aşağıdaki durumlarda avantajlı olma eğilimindedir:

• Hizmetin katı p99 veya p999 gecikme hedefleri vardır.
• Çıkarım, tensör veya ardışık düzen paralelliğiyle birden fazla GPU düğümünü kapsar veya ayrıştırılmış önceden doldurma ve kod çözmeyi kullanır.
• GPU kullanımı ağ gecikmesine karşı oldukça hassastır, dolayısıyla duraklamalar pahalıdır.
• Küme, öngörülebilirliğin esnekliğe ağır bastığı az sayıda yüksek-öncelikli iş yükünü çalıştırır.

RoCE genellikle aşağıdaki durumlarda yeterince iyidir:

• İstekler çoğunlukla bağımsızdır veya bağlantı gevşektir.
• İş bir düğümde veya az sayıda düğümde yürütülür.
• Toplu iş verimi, ultra-düşük kuyruk gecikmesinden daha önemlidir.
• Ekip halihazırda Ethernet kullanıyor ve maliyet veya satıcı esnekliği bir önceliktir.
• Küme birden çok kiracıyı veya karma iş yükünü destekler.

RoCE ve InfiniBand Maliyeti: Toplam Sahip Olma Maliyetini Gerçekte Ne Artırıyor?

RoCE'ye genellikle daha ucuz seçenek denir, ancak geçiş fiyatı resmin küçük bir parçasıdır. Gerçekçi bir karşılaştırma tüm yığına bakar: ağ bağdaştırıcıları veya HCA'lar, anahtarlar, optik modüller, DAC, AOC ve fiber kablolama, raf topolojisi, güç ve soğutma, ağ işletim sistemi, izleme ve telemetri, mühendislik süresi, yedek parçalar, satıcı desteği ve 400G veya 800G'ye giden yol.

InfiniBand, özel bir yapı ve özel bileşenler gerektirdiğinden genellikle daha yüksek bir ön maliyet taşır. Belirleyici davranışın en öncelikli olduğu ortamlarda, kayıpsız bir Ethernet yapısının gerektirdiği ayarlama ve sorun giderme çabalarını azaltabilir. RoCE, doğru Veri Merkezi Köprüleme desteğine sahip mevcut bir Ethernet ortamı yeniden kullanılabildiğinde donanım maliyetini düşürür, ancak çabayı kayıpsız yapının tasarlanması, doğrulanması, izlenmesi ve sorun gidermeye kaydırır. Düşük-maliyetli bir RoCE tasarımı, kararsız gecikme süresine ve tekrarlanan yangınla mücadeleye neden olması durumunda hızla pahalı hale gelir.

Hızlar arttıkça maliyet ve risk fiziksel katmanda yoğunlaşıyor. 400G ve 800G'de optikler hem fatura hem de arıza modlarına hakimdir. Yüksek-hızlı bağlantı noktalarının çoğuQSFP-DD veya karşılaştırılabilir form faktörlerive sağdakiyle eşleşiyortek-modlu veya çok modlu optikgerçek erişiminize ulaşmak, uzun-mesafeli modüllere ihtiyaç duymayan bir yapıya aşırı harcama yapmaktan kaçınmanın en basit yollarından biridir.

Açıkça söylemek gerekirse: Ekibinizde kayıpsız-Ethernet uzmanlığı yoksa RoCE daha ucuz bir seçenek değildir. Donanımdaki tasarruflar, kumaşı sabit tutmanın mühendislik maliyetiyle hızla tüketilebilir.

Ölçeklenebilirlik ve Operasyonlar

Ölçeklenebilirlik, bağlantı noktası sayısından daha fazlasıdır. Bir şey arızalandığında yapının ne kadar kolay dağıtıldığını, izlendiğini, genişletildiğini ve kurtarıldığını içerir.

InfiniBand, küme ilk günden itibaren özel-yüksek performanslı bir yapı olarak tasarlandığında güçlü olur. Geniş ölçekte tutarlı davranış sunar, ancak alt ağ yöneticisi ve birleşik yapı yönetimi gibi InfiniBand-'a özel araçlar ve InfiniBand konseptleri konusunda deneyimli personel bekler. Bu, onu GPU iş yükleri etrafında oluşturulan merkezi yapay zeka kümeleri için doğal bir uyum haline getiriyor.

RoCE, Ethernet veri merkezi tasarımlarına yerleştirilir: yaprak-omurga topolojileri, IP yönlendirme, ECMP ve tanıdık izleme uygulamaları. İşte tam da bu yüzden bulut-tarzına ve çok-kiracılı GPU altyapısına hitap ediyor. Onun gerektirdiği disiplin tutarlılıktır. PFC, ECN, QoS, arabellek yönetimi ve tıkanıklık kontrolünün tüm yol boyunca tutarlı bir şekilde tasarlanması gerekir çünkü yapının bir köşesindeki küçük bir yanlış yapılandırma aynı anda birçok iş yükünü yayabilir ve bozabilir. Fiziksel katmanın da temiz bir şekilde ölçeklenmesi gerekiyor; yüksek-yoğunlukMPO ve MTP ana hat ve ara kablolamasıher genişletmeyi bir kablolama bulmacasına dönüştürmek yerine, büyüyen yaprak{0}}omurgası dokusunu yönetilebilir tutar.

Ayna-görüntü noktasını belirtmeye değer: Çıkarımın çoğunlukla tek bir düğümde kaldığı ve yapının çok az kullanıldığı durumlarda InfiniBand'ı haklı çıkarmak zordur.

Her Çıkarım İş Yükü için Hangi Ağ

RoCE Yeterince İyi Olduğunda ve Riskli Hale Geldiğinde

RoCE, bağımsız veya gevşek bağlı istekler, aktarım hızı{0}}odaklı toplu çalışma ve izolasyonu ayarlayabileceğiniz çok-kiracılı kümeler için yeterince iyidir, özellikle de ekip Veri Merkezi Köprüleme Ethernet'inde akıcı olduğunda. Belirli, tanınabilir şekillerde riskli hale gelir:

• PFC fırtınaları.Duraklatma çerçeveleri yukarı yönde yayılır ve orijinal tıkanıklıkla hiçbir ilgisi olmayan trafiği dondurur.
• Baş-satır-engellemesi.Kaba öncelik eşlemesi, sıkışık bir sınıfın, kuyruğu paylaşan diğerlerini oyalamasına olanak tanır.
• ECN yanlış ayarlama.Çok geç işaretlerseniz ödül alırsınız; çok agresif bir şekilde markalama yaparsanız verimi gereksiz yere azaltırsınız.
• Mikro patlama tıkanıklığı.-saniyenin altında patlamalar arabellek taşmasını sağlar ancak bu örneklerin bir-saniyelik çözünürlükte izlenmesi sırasında görünmez kalır.
• Tutarsız yapılandırma.Yaprak ve omurgadaki uyumsuz ayarlar, tıkanıklığın yerel kalmak yerine yayılmasına neden olur.

Bunların hiçbiri RoCE'den kaçınmak için neden değildir. Bunlar, kayıpsız yapıyı uçtan uca tutarlı bir şekilde tasarlamak ve ölçeklendirmeden önce hassas-taneli, mikro patlama-farklı telemetriye yatırım yapmak için nedenlerdir.

InfiniBand Buna Değer Olduğunda ve Aşırı Alım Yaptığınızda

InfiniBand, sıkı p99 ve p999 hedefleri, sıkı bir şekilde birleştirilmiş çoklu-düğümlü hizmet ve SLA cezalarının yüksek olduğu görev açısından kritik iş yükleri (özellikle yapı etrafında tasarlanmış özel bir GPU kümesinde) için birinci sınıfa değer. Çıkarım bir düğüm içinde kaldığında, iş aktarım hızı-odaklı olduğunda, aynı zamanda depolama, yönetim ve çok- kiracılı bulut trafiğini taşımak için aynı yapıya ihtiyaç duyduğunuzda veya InfiniBand'i iyi bir şekilde çalıştıracak operasyonel kapasiteye sahip olmadığınızda muhtemelen aşırı satın alma yapıyorsunuz demektir.

Anahtar teklifinde görünmeyen maliyetler gerçektir: ekosistem konsantrasyonu, Ethernet ağınıza paralel olarak ikinci bir yapıyı çalıştırmanın getirdiği ek yük ve yedek parçalar, optikler ve izleme için ayrı planlama.

Seçimden Önce InfiniBand ile RoCE Karşılaştırmasını Nasıl Test Edebilirsiniz?

Protokol itibarına veya teknik özellikler sayfasına karar vermeyin. Üretime benzeyen bir kıyaslama üzerinde karar verin. Pratik bir sıra:

• SLA'yı kuyruklarda tanımlayın.p50, p95, p99 ve p999'u yalnızca ortalama değil,-ilk{-jeton ve jetonlar arası-zamana göre ayarlayın.
• Gerçekçi trafiği tekrar oynatın.Tek bir temiz akış yerine çok sayıda, karışık model boyutları ve{0}çok kiracılı eşzamanlılık kullanın.
• Tıkanıklığa kadar yük.Kumaşı gerçekten sıkışıncaya kadar itin, ardından GPU kullanımını ölçün. GPU'lar ağda duruyorsa, yapı sizin darboğazınızdır.
• Doğru sayaçlara dikkat edin.Duraklatma çerçevelerini, ECN işaretlerini, paket düşüşlerini, yeniden iletimleri, bağlantı noktası hata sayaçlarını ve 400G ve 800G'de FEC hatalarını izleyin.
• Fiziksel katmanı doğrulayın.Temiz, doğru şekilde takılmış fiber önemli;dikkatli fiber kurulumuyüksek hızlı bağlantıların eğilimli olduğu aralıklı,-teşhis edilmesi zor{{1}hataları-önler.

RoCE, p99 hedefini gerçekçi, çekişmeli, çok-kiracılı yük altında istikrarlı sayaçlarla tutarsa, bu güçlü ve uygun maliyetli-bir seçimdir. Yalnızca tek-akış testlerini temiz bir şekilde geçiyorsa, HDS'nize karar verecek şeyi henüz test etmemişsiniz demektir.

Kaçınılması Gereken Yaygın Hatalar

• Tüm çıkarımların hafif ağ oluşturma olduğunu varsayarsak.Bazı çıkarımlar basit ve bağımsızdır; bazıları dağıtılmış, gecikmeye-hassas ve bant genişliğine-çok ihtiyaç duyuyor. Her şeyi kolaymış gibi ele almak altyapının yetersiz inşa edilmesine yol açar.
• Yalnızca ortalama gecikmeyi karşılaştırıyoruz.Üretim çıkarımı kuyruğa bağlıdır. Her zaman p95, p99 ve p999'u gerçekçi trafik altında değerlendirin.
• RoCE'yi tak-ve-çalıştır Ethernet olarak ele almak.Yüksek-performanslı RoCE, kasıtlı olarak kayıpsız-yapı tasarımına, tıkanıklık kontrolüne ve sürekli gözlemlenebilirliğe ihtiyaç duyar.
• InfiniBand'i yalnızca daha hızlı olduğu için seçiyoruz.En iyi performans seçeneği her zaman en iyi iş seçeneği olmayabilir. İş yükünün belirleyici davranışa ihtiyacı yoksa RoCE daha iyi değer sunabilir.
• Fiziksel katmanı göz ardı etmek.400G ve 800G'de kablolar, optikler, konektörler ve fiber temizliği, bulunması zor ve düzeltilmesi pahalı olan aralıklı hatalara neden olur.

Sonuç olarak

Yapay zeka çıkarımı için hem InfiniBand hem de RoCE geçerlidir ve farklı önceliklere hizmet ederler. Gerçek-zamanlı, SLA'ya-duyarlı veya sıkı bağlantılı çıkarım için en tutarlı düşük-gecikmeli ağa ihtiyaç duyduğunuzda InfiniBand'ı seçin. Toplu çıkarım için ölçeklenebilir, Ethernet-tabanlı, maliyet-etkin bir yapıya, çok-kiracılı GPU hizmetlerine, RAG iş yüklerine ve esnek altyapıya ihtiyaç duyduğunuzda RoCE'yi seçin.

Karar, protokolle değil, iş yükü, gecikme hedefi, küme ölçeği, operasyon kabiliyetiniz ve yükseltme yol haritasıyla başlamalıdır. Kümenizin ağır yük altında sıkı bir p99 tutması gerekiyorsa InfiniBand ciddi bir değerlendirmeyi hak eder. Amacınız çıkarımı bir Ethernet veri merkezi genelinde ekonomik olarak ölçeklendirmekse RoCE genellikle daha pratik yoldur. Her iki durumda da, taahhütte bulunmadan önce üretim-yükünde olduğu gibi karşılaştırma yapın.