‏🔥 انویدیا پروژه Rubin CPX را با HBM4 احیا کرد؛ GDDR7 زیادی کند و گران بود!📌 انویدیا اواخر سال گذش

‏🔥 انویدیا پروژه Rubin CPX را با HBM4 احیا کرد؛ GDDR7 زیادی کند و گران بود!📌 انویدیا اواخر سال گذشته از برنامه خود برای توسعه یک شتاب‌دهنده اختصاصی برای استنتاج هوش مصنوعی بر پایه معماری Rubin خبر داده بود. اما پروژه Rubin CPX پس از معرفی اولیه به دلایل نامعلومی متوقف شد.💾 در طراحی قبلی، Rubin CPX قرار بود 128 گیگابایت حافظه GDDR7 داشته باشد، اما نسخه جدید به 168 گیگابایت HBM4 مجهز خواهد شد.⚙ مهم‌ترین کاربرد Rubin CPX، پردازش مرحله Prefill در مدل‌های زبانی بزرگ (LLM) است. در این مرحله ورودی و context مدل پردازش می‌شود و KV Cache شکل می‌گیرد. انویدیا با این طراحی قصد دارد وظایف Prefill و Decode را از یکدیگر جدا کند.📈 به گفته انویدیا، جداسازی این دو مرحله برای مدل‌های زبانی بسیار بزرگ، به‌ویژه مدل‌هایی با تریلیون‌ها پارامتر، سرعت تولید و تحویل توکن‌ها را افزایش دهد.🔗 در شهر سخت‌افزار بخوانید🆔@ShahrSakhtAfzar