🟡 کارت گرافیک قوی نداری؟ هنوزم میتونی مدل های بزرگ AI رو لوکال اجرا کنی!🔶️خیلی ها فکر میکنن اجرای مدل های بزرگ هوش مصنوعی حتما به یه GPU گرون قیمت نیاز داره؛ اما Quantization این معادله رو تا حد زیادی تغییر داده.🔶️تیم Unsloth نسخه های فشرده شده مدل هایی مثل Qwen و DeepSeek رو در Hugging Face منتشر کرده که میشه با ابزارهایی مثل Ollama، LM Studio و llama.cpp اجراشون کرد. حتی برای مدل های 32B هم نسخه های بسیار فشرده مثل IQ1 وجود داره. ▪️این ابزار حجم پارامترهای مدل رو کاهش میده تا مصرف حافظه پایین بیاد؛ البته هرچی فشرده سازی شدیدتر باشه، معمولا باید انتظار افت بیشتری در کیفیت داشته باشی.+ جالب اینکه مدل Qwen2.5-32B منتشرشده توسط Unsloth تحت Apache 2.0 قرار داره و خود Unsloth هم امکان استفاده از مدل ها در ابزارهای مختلف و اجرای محلی رو مستند کرده. @HiEng