این روزها با انبوه مدل‌های هوش مصنوعی که در دسترس همه قرار گرفته، می‌شه ضعف‌های فنی زیادی رو تا حدی…

🖊 چرا سؤال نداریم؟این موضوع رو در ۳ پُست مجزا، به ظاهر طولانی ولی در قسمت‌های کوتاه که منقطع خوندنشون آسون باشه تموم کردم. توی این سه بخش سعی کردم از سه زاویه متفاوت بهش نگاه کنم:1️⃣ چرا سؤال اصلاً توی ذهن ما شکل نمی‌گیره؟از شکاف اطلاعاتی و اطمینان کاذب، تا نقش آموزش و کودکی در ساختن یا خاموش‌کردن پرسشگری.🔗 [لینک بخش اول]2️⃣ وقتی سؤال داریم، چرا نمی‌پرسیم؟از امنیت روانی و فاصله با قدرت، تا فرهنگ، و سکوتی که گاهی اصلاً نشانه رضایت نیست.🔗 [لینک بخش دوم]3️⃣وقتی سؤال می‌پرسیم، آیا واقعاً دنبال فهمیدنیم؟ و اثر هوش‌مصنوعیآیا فقط دنبال شاهدی برای تأیید جوابی هستیم که از قبل انتخاب کردیم؟ این بخش بیشتر درباره Confirmation Bias، هوش مصنوعی و خطر تازه‌ای به اسم Sycophancy است.🔗 [لینک بخش سوم]به‌نظرم در هر شغل، موقعیت و سطحی، «پرسشگر» بودن، بلد بودنِ پرسش خوب و توانایی دیدن و حل مسئله، مهارت‌های بنیادی‌ای هستن.دعوت می‌کنم بخونید و اگه براتون مفید بود، برای بقیه هم بفرستید. پی‌نوشت: معرفی موضوع، ۲۰۸۸ بار دیده شد و ۳۲ بار بازنشر! ولی قسمت اول مطلب ۵۹ بار دیده شد. نمونه بانمکی از پیشی گرفتن آگهی از آگاهی بود!

🌟 انواع حملات پرامپت اینجکشن به زبان ساده و با مثالهمون‌طور که شیوه توسعه نرم‌افزار و نحوه تعامل کاربر با نرم‌افزار، بعد از فراگیر شدن مدل‌های زبانی، تغییر کرده، نحوه تهاجم و حملات نرم‌افزاری هم تغییر کرده. یکی از موضوعاتی که باید بهش توجه مضاعفی کنیم، حملات Prompt Injection است که انواعش رو به زبان ساده و با مثال توضیح می‌دم.به زبون ساده، Prompt Injection یعنی مهاجم تلاش کنه با واردکردن دستوراتی در ورودی، رفتار مدل رو از هدف اصلی‌اش منحرف کنه، محدودیت‌ها رو دور بزنه یا مدل رو وادار کنه اطلاعات یا عملیاتی ناخواسته انجام بده. برعکس حملات سنتی نرم‌افزار، خیلی‌هاش بُعد فنی زیاد و کدنویسی عجیب نداره، و گاها با کمی زیرکی و هوش و زبون‌بازی می‌شه حمله رو درآورد!!۱۸ مدل حمله رو با مثال و به صورت خلاصه و ساده توضیح دادم، و فکر می‌کنم خوندنش خوب باشه. و دقت کنید که همین یکی دو ماه گذشته شرکت‌های بزرگ تکنولوژی و حتی توسعه‌دهنده مدل‌ها هم درگیر چنین حملاتی شدن؛ پس درک داشتن از چنین حملاتی لازمه.1. Direct Prompt Injection2. Indirect Prompt Injection3. Stored Prompt Injection4. Reflected Prompt Injection5. Cross-Context Prompt Injection6. Tool-Use Injection7. Tool Output Injection8. RAG Prompt Injection9. Multimodal Prompt Injection10. Prompt Obfuscation11. Role-Playing Injection12. Instruction Hierarchy Attack13. Context Poisoning14. Memory Poisoning15. Data Exfiltration Injection16. Goal Hijacking17. Denial-of-Service Prompt Injection18. Agent-to-Agent Prompt Injection🔗 لینک مطلب

بعد از این نظرسنجی شاید بد نباشه تا با هم فکر کنیم ببینیم چه روش‌هایی می‌شه استفاده کرد تا AI به صورت درست و «پایدار» در اختیار طیف بیشتری از جامعه قرار بگیره.سه تا چالشی که به ذهن من می‌رسه:- تحریم، دشواری تهیه و البته مسدود شدن اکانت‌ها- نرخ برابری ریال و احتمالا قدرت خرید کمتر شرکت‌ها و افراد- تامین دسترسی سازمانی و تیمیراهکارهای پیشنهادی:- استفاده از LiteLLM یا bitfrost (به صورت کلی، یک AI Gateway که شما به هر مدلی و هر تامین‌کننده‌ای از طریق Inference Token وصل شی؛ شرکت هم مدیریت کافی روی بودجه و مصرف توکن و مدل‌های در دسترس و امنیت و... داشته باشه)- استفاده از مدل‌های چینی مثل DeepSeek، Kimi یا Qwen که هزینه بسیار پایین‌تری نسبت به مدل‌های آمریکایی دارن و دقت و کیفیتشون هم نزدیک و رقابتی با مدل‌های روز آمریکایی است)در مورد harness هم به خوبی مشکل حل شده، یعنی مثلا شما می‌تونید توی گیت‌هاب کوپایلوت یا Claude Code یا... با توکن خودتون از دیپ‌سیک یا مدل‌های آنتروپیک، OpenAI یا...استفاده کنید ولی نگران مسدود شدنش نباشید (احتمال مسدود شدن صفر نیست، ولی به بارها کمتر از تهیه حساب مستقیم از آنتروپیک یا OpenAI است)، یا با OpenUI می‌تونید رابط کاربری شبیه به محیط ChatGPT یا Claude رو تجربه کنید.از طرفی با توجه به رقابت جدی و تحریم‌های AI نسبت به چین از طرف آمریکا، این ابزارهای کدباز و حتی تامین‌کننده‌های توکن از طرف چینی‌ها زیاد شدن و شاید بشه با هزینه کمتر، استرس و اعصاب‌خوردی‌های احتمالی رو کمی کاهش داد.

نیل دگراس تایسون، جایی می‌گه:💡 یکی از چالش‌های بزرگ دنیا اینه که آدم‌ها درباره یک موضوع فقط اونقدری بدونن که فکر کنن حق با اون‌هاست، اما نه اونقدری که بفهمن دارن اشتباه می‌کنن.این عارضه، خیلی جاها هست، توی توسعه و معماری نرم‌افزار و AI هم هست و خیلی آزاردهنده است. اینجوری نباشیم 😅

معرفی Ontology Playgroundاصلاً Ontology یعنی چی؟به بیان ساده، Ontology یک مدل صریح از «مفاهیم یک دامنه و رابطه بین آن‌ها» است.مثلاً توی دامنه منابع‌انسانی، ممکنه داشته باشیم:EmployeeDepartmentPositionManagerLeaveRequestو روابطی مثل:Employee worksIn DepartmentEmployee hasPosition PositionEmployee reportsTo ManagerEmployee submits LeaveRequestتفاوتش با ER Diagram یا دیتابیس‌مدل اینه که هدف Ontology فقط تعریف جدول‌ها و Foreign Keyها نیست. Ontology تلاش می‌کنه معنای مفاهیم، ویژگی‌ها و روابط رو به شکل استاندارد و قابل‌فهم برای انسان و ماشین توصیف کنه.مثلا:Manager is a type of EmployeeEmployee may report to another EmployeeLeaveRequest belongs to exactly one Employeeاین مدل می‌تونه مبنای Knowledge Graph، semantic search ، reasoning و پاسخ‌گویی هوشمند روی داده‌ها باشه.حالا Ontology Playground چی کار می‌کنه؟این یه پروژه کدباز وبی است که بدون backend خاصی قابل اجراست. می‌تونید Ontologyها رو به‌صورت گراف ببینی و بسازی، و روی Nodeها کلیک کنی، Propertyها رو بررسی کنی و Entityها و Relationshipها را جست‌وجو کنی.ابزار از Import و Export فایل‌های RDF/XML و OWL پشتیبانی می‌کنه. یعنی Ontology رو می‌تونی ویژوال ترسیم کنی و بعد خرجی متنی بگیری بدی AI تا برای تولید یا ویرایش کد درک بهتری از بیزنس شما داشته باشه.توی تنظیماتش قابلیتی به اسم AI Builder وجود داره، ولی به‌صورت پیش‌فرض غیرفعاله و برای فعال‌شدن به Azure OpenAI وابسته است.لینک دمو برنامه لینک ریپازیتوری گیت‌هاب

بدون شرحالبته تشخیص صحیح top یا mid یا junior بودن خودش یکی از مراحل عرفانه 😅