🧠 مدل Marin 535B-A23B: آموزش یک مدل ۵۳۵ میلیارد پارامتری به‌صورت زنده و کاملاً باز!کامیونیتی Marin از دو روز پیش آموزش بزرگ‌ترین مدل زبانی خود را شروع کرده و همه‌چیز را به‌صورت عمومی و زنده به اشتراک می‌گذارد. این پروژه که توسط Percy Liang از دانشگاه استنفورد رهبری می‌شود، گامی در جهت شفافیت کامل در توسعه مدل‌های بنیادین است.---📊 مشخصات فنی و برنامه‌ی آموزش🔹 معماری: MoE (Mixture-of-Experts) با ۵۳۵ میلیارد پارامتر کلی و ۲۳ میلیارد پارامتر فعال در هر توکن. هر بلوک ترنسفورمر شامل ۳۸۴ متخصص با مسیریابی top-8 و دو متخصص اشتراکی است.🔹 زیرساخت: ۱۱ سامانه‌ی GB200 NVL72 (حدود ۷۹۲ واحد پردازشی GB200)🔹 داده‌های آموزشی: ۱۸.۷۵ تریلیون توکن (۸۰٪ پیش‌آموزش و ۲۰٪ میان‌آموزش)🔹 مدت زمان: حدود ۳ ماه🔹 حجم محاسباتی: ۲.۷ × ۱۰²⁴ FLOPs---🔬 رویکرد علمی و گام‌های پیشینپیش از شروع این اجرای اصلی، تیم یک نردبان مقیاس‌سازی (Scaling Ladder) با ۴ پله از مدل ۱.۶ میلیاردی (۴۸ میلیارد توکن) تا ۲۷.۷ میلیاردی (۹۲۶ میلیارد توکن) اجرا کرد تا مشکلات را شناسایی و پیش‌بینی دقیقی از عملکرد اجرای اصلی داشته باشد.---🌍 شفافیت کامل؛ یک حرکت بی‌نظیرکامیونیتی Marin نه تنها وزن‌ها و کد نهایی، بلکه همه‌چیز را به‌صورت لحظه‌ای عمومی می‌کند:🔹 گزارش‌های زنده: لاگ Loss و تمام متریک‌های آموزش روی Weights & Biases🔹 کد و مستندات: همه‌ی آزمایش‌ها و کدها روی GitHub🔹 داده‌ها: ترکیب داده‌های آموزشی به‌صورت عمومی🔹 بحث و مشارکت: از طریق Discord و لیست پستی---👏 واکنش جامعهدانشمند معروف Andrew Ng و بسیاری از پژوهشگران حوزه‌ی هوش مصنوعی از این حرکت تقدیر کرده‌اند. این پروژه نشان می‌دهد که توسعه مدل‌های بزرگ می‌تواند شفاف، علمی و مشارکتی باشد و فقط در انحصار چند شرکت بزرگ نباشد.---📌 پیگیری لحظه‌به‌لحظهاگر به فرایند آموزش مدل‌های بزرگ علاقه‌مندید، این پروژه یک فرصت طلایی برای یادگیری است. می‌توانید:· گزارش زنده را در WandB دنبال کنید· کد و جزئیات فنی را در GitHub بررسی کنید· در بحث‌های جامعه شرکت کنید---🔗 لینک‌های مفید📊 گزارش زنده آموزش🐦 توییت 🌐 وبسایت کامیونیتی Marin💻 گیت‌هاب پروژه---💡 پروژه Marin 535B-A23B با شفافیت کامل و رویکرد علمی باز، یکی از مهم‌ترین اتفاقات سال ۲۰۲۶ در حوزه‌ی مدل‌های متن‌باز است. این حرکت می‌تواند الگویی برای نسل جدیدی از توسعه مدل‌های بنیادین باشد.---#Marin #مدل_زبانی #هوش_مصنوعی_متن_باز #پیشرفت_فناوری #LLM🆔 @asrgooyeshpardaz