🧠 مقالهی جدید گوگل: پایان دوران انحصار ترنسفورمر در مدلهای زبانی؟گوگل مقالهای منتشر کرده که ممکن…
انتشار: 2026/07/06 17:33 UTC
🧠 مقالهی جدید گوگل: پایان دوران انحصار ترنسفورمر در مدلهای زبانی؟گوگل مقالهای منتشر کرده که ممکن است یکی از مهمترین مفروضات هوش مصنوعی مدرن را به چالش بکشد. عنوان مقاله "Memory Caching: RNNs with Growing Memory" است و ایدهی اصلی آن، تغییری اساسی در نحوهی طراحی معماری مدلهای زبانی است.---⚡ مشکل اصلی ترنسفورمرها چیست؟ترنسفورمرها با مکانیزم توجه (Attention)، حافظهای رو به رشد دارند. هر توکن میتواند به توکنهای قبلی دسترسی داشته باشد. این ویژگی برای درک متنهای طولانی عالی است، اما هزینهی محاسباتی بالایی دارد. با افزایش طول متن، تعاملات بین توکنها و حافظهی KV Cache بهسرعت رشد میکند.در مقابل، مدلهای بازگشتی (RNN) کارآمد هستند، اما حافظهشان ثابت است و تمام اطلاعات گذشته را در یک حالت پنهان (Hidden State) فشرده میکنند. این کار باعث میشود در بازیابی اطلاعات دقیق از متنهای طولانی ضعیف عمل کنند.---🔑 راهحل پیشنهادی: حافظهی نهان (Memory Caching)ایدهی اصلی مقاله بسیار ساده اما قدرتمند است:بهجای اینکه مدل بازگشتی کل گذشته را در یک حالت فشرده کند، نقاط بازرسی (Checkpoints) از حافظه را در طول پردازش دنباله ذخیره میکند. دنباله به بخشهایی تقسیم میشود و پس از پردازش هر بخش، وضعیت نهایی حافظه در یک حافظهی نهان ذخیره میگردد. سپس توکنهای بعدی میتوانند از حافظهی جاری و نیز این حافظههای نهانشده بازیابی کنند.بهبیان دیگر: مدل بازگشتی دیگر فقط به یک حافظه محدود نیست؛ بلکه مجموعهای از حافظههای فشرده از بخشهای مختلف دنباله را در اختیار دارد.---⚙️ چهار روش برای استفاده از حافظههای نهان:🔹 حافظهی باقیمانده (Residual Memory): سادهترین روش که خروجی تمام حافظههای نهان را با هم جمع میکند.🔹 حافظهی باقیمانده با دروازه (Gated Residual Memory): به هر حافظه وزنی متناسب با سوال جاری اختصاص میدهد و فقط حافظههای مرتبط سهم بیشتری در پاسخ دارند.🔹 سوپ حافظه (Memory Soup): حافظهها را قبل از خواندن با هم ترکیب و یک حافظهی موقت میسازد و سپس از آن یک بار میخواند. این روش برای حافظههای عمیق کارآمدتر است.🔹 حافظهی نهان انتخابی و پراکنده (Sparse Selective Caching): فقط زیرمجموعهای از حافظهها را که مرتبطترین هستند، بازیابی میکند. این روش برای دنبالههای بسیار طولانی، کارایی بالایی دارد.---📊 نتایج آزمایشها:- مدلهای بازگشتی با Memory Caching در وظایف بازیابی اطلاعات از متنهای طولانی مانند Needle-in-a-Haystack بهبود چشمگیری نشان دادند.- در بنچمارکهایی مانند LongBench و MQAR، مدلهای بهبودیافته عملکرد بهتری نسبت به نسخهی پایه داشتند.- روش Gated Residual Memory بهعنوان یکی از قویترین و روش Sparse Selective Caching بهعنوان کارآمدترین گزینه برای متنهای بسیار طولانی شناخته شد.---💡 پیام اصلی مقالهاین مقاله پایان ترنسفورمرها را اعلام نمیکند، بلکه نشان میدهد که توجه کامل (Full Attention) دیگر تنها راه قابلاعتماد برای داشتن حافظهی در حال رشد نیست.حافظهی نهان به مدلهای بازگشتی امکان میدهد که:- کارآمدی پردازش دنباله را حفظ کنند.- با ذخیرهی نقاط بازرسی، ظرفیت حافظه خود را افزایش دهند.- با استفاده از دروازهها و مسیریابی، دسترسی انتخابی به گذشته داشته باشند.دوران ترنسفورمر، احتمالاً با یک جایگزین ناگهانی پایان نمییابد، بلکه با پذیرش این ایده که حافظهی مدلهای زبانی باید طراحیشده و قابل تنظیم باشد، به تدریج تغییر خواهد کرد.---📄 مقاله:arxiv.org/abs/2602.24281--- #گوگل #معماری_مدل_زبانی #حافظه_نهان #ترنسفورمر #پژوهش_هوش_مصنوعی #RNN #LLM🆔 @asrgooyeshpardaz