MosaicML yakın zamanda Databricks tarafından 1,3 milyar dolara satın alınan bir yapay zeka girişimidir. Her iki şirket de yapay zeka sistemlerine ve LLM eğitim platformlarına DIY yaklaşımını savunarak şirketlerin yapay zeka uygulamaları üzerinde kontrol sahibi olmalarını sağlıyor. Donanımla ilgili olarak MosaicML, AMD yongalarının Nvidia yongalarına neredeyse eşdeğer performans sağlayabileceğini iddia ediyor.
Nvidia’nın piyasa kapitalizasyonundaki son artışın açıkça gösterdiği gibi, AI endüstrisi, büyük dil modellerini (LLM’ler) ve diğer AI tabanlı algoritmaları eğitmek için yeni donanıma umutsuzca ihtiyaç duyuyor . Sunucu ve HPC GPU’ları oyun oynamak için değersiz olsa da , bu sistemler için gerekli olan yüksek oranda paralelleştirilmiş hesaplamaları gerçekleştiren veri merkezleri ve süper bilgisayarlar için temel görevi görürler.
AI eğitimi söz konusu olduğunda , Nvidia’nın GPU’ları bugüne kadar en çok arzu edilenler olmuştur. Son haftalarda şirket, tam da bu nedenle kısa süreliğine benzeri görülmemiş bir 1 trilyon dolarlık piyasa değerine ulaştı. Ancak MosaicML, şimdi Nvidia’nın çok yönlü bir donanım pazarında yalnızca bir seçenek olduğunu vurguluyor ve yapay zekaya yatırım yapan şirketlerin Team Green’in çok aranan çiplerine körü körüne bir servet harcamaması gerektiğini öne sürüyor.
AI girişimi, her ikisi de her şirketin mevcut amiral gemisi HPC GPU’larının bir nesil gerisinde olan AMD MI250 ve Nvidia A100 kartlarını test etti. Test için Meta destekli açık kaynaklı yazılım PyTorch ve AMD’nin tescilli yazılımı ile birlikte kendi yazılım araçlarını kullandılar.
MosaicML, temeldeki yazılım kodunda herhangi bir değişiklik yapmadan bir LLM algoritması eğitti ve AMD yongalarının neredeyse Nvidia’nınkiler kadar iyi performans gösterdiğini buldu.
Gerçek iş yükü tabanlı testlerde MosaicML, LLM eğitim yığınının sabit kaldığını ve herhangi bir ek yapılandırma olmadan iyi performans gösterdiğini bildirir . Şirket, AMD MI250 GPU’larının “rekabetçi” olduğunu ve Nvidia’nın A100 40 GB modeli tarafından sunulan GPU başına veri hacminin yüzde 80’ini ve A100 800 GB modeline kıyasla yüzde 73’ünü sağladığını belirtti.
MosaicML baş teknoloji sorumlusu Hanlin Tang, makine öğrenimi algoritması hızlandırması için çipler üreten çoğu şirket için en büyük zayıflığın yazılımlarında yattığını belirtiyor. AMD bu alanda çok başarılı ve yazılım araçları gelişmeye devam ettikçe şirket yeni HPC GPU’larda daha da iyi performans bekliyor. Bununla birlikte, Nvidia’nın düşük seviyeli çip programlama çerçevesi olan CUDA’nın, en azından şimdilik, endüstride bir tür standart haline geldiği belirtilmelidir. CUDA mükemmel, zarif veya özellikle kolay değildir, ancak tanıdıktır ve yalnızca Nvidia’dır.
AMD, MosaicML’nin, şirketin yapay zeka eğitimi ve yongaları üzerinde çıkarım için “açık ve uygulaması kolay bir yazılım ekosistemini” destekleme stratejisini doğrulayan bulgularından anlaşılır bir şekilde memnun . Bu arada Nvidia yorum yapmaktan kaçındı.