ترم گذشته برادران عمیدی یه کورس بسیار ارزشمندی رو تو دانشگاه اسنتفورد برگزار کردن با عنوان Transform

ترم گذشته برادران عمیدی یه کورس بسیار ارزشمندی رو تو دانشگاه اسنتفورد برگزار کردن با عنوان Transformers & LLMs که هدفش آموزش ساخت و درک نحوه‌ی کارکرد مدل‌های زبانی هستش. توصیه می‌کنم اگر تو این فیلد فعال هستید تو واچ لیستتون قرار بدیدش. https://www.yout…اگه فرصت نمی‌کنید این کورس رو به صورت کامل ببینید، حتما این قسمتش رو ببینید که خیلی اطلاعات مفیدی داره.بخش‌های مختلف کورس:Chapters:00:00:00 Introduction00:01:02 Recap of Transformers-based models00:03:43 LLM definition00:07:37 Mixture of Experts00:12:43 Dense & Sparse MoE00:15:47 MoE in LLMs00:36:35 Response generation00:38:34 Greedy decoding & beam search00:46:36 Sampling-based methods00:52:24 Impact of temperature on predictions01:04:53 Guided decoding01:07:07 Prompting strategies01:14:09 In-context learning01:18:35 Chain-of-thought, self-consistency01:25:00 Inference optimizations with KV cache01:33:09 PagedAttention, MLA@Ai_Events