"black box" tendency of machine learning(where even the AI's designers cannot explain why it arrived at a specific decision)«خاصیت جعبه سیاه» در یادگیری ماشین(وقتی حتی طراحان هوش مصنوعی نیز نمی‌توانند توضیح دهند که چرا به یک تصمیم خاص رسیده است!)در حوزه‌ی یادگیری ماشین (Machine Learning) اصطلاحی وجود دارد به نام «جعبه‌ سیاه» (Black Box).منظور از «جعبه‌ سیاه» این است که الگوریتم‌های هوش مصنوعی در فرایند تصمیم‌گیری‌شان چنان پیچیده و چندلایه‌اند که حتی طراحان و سازندگان آن‌ها هم نمی‌توانند به‌طور دقیق توضیح دهند چرا و چگونه سیستم به یک نتیجه‌ی خاص رسیده است.به بیان ساده‌تر، ما فقط ورودی و خروجی را می‌بینیم — مثلاً سیستم می‌گوید این تصویر متعلق به یک گربه است — اما منطق درونی یا مسیر محاسباتی‌ای که به این نتیجه منجر شده برای انسان قابل مشاهده و درک نیست.از جعبه‌ سیاه ذهن تا جعبه‌ سیاه ماشیندر دوران سلطه‌ی روان‌شناسی رفتارگرا (Behaviorism) — به‌ویژه از دهه‌ی ۱۹۲۰ تا ۱۹۶۰ — روان‌شناسانی مثل واتسون (Watson) و اسکینر (Skinner) معتقد بودند که ما نباید درباره‌ی ذهن انسان یا فرایندهای درونی آن حرف بزنیم، چون قابل مشاهده و اندازه‌گیری نیستند.در نتیجه، فقط ورودی‌ها (تحریک‌ها یا Stimuli) و خروجی‌ها (رفتار یا Response) بررسی می‌شدند، درست مانند یک سیستم هوش مصنوعی امروزی که فقط ورودی و خروجی‌اش برای ما روشن است، اما مسیر درونی تصمیم‌گیری‌اش ناشناخته می‌ماند.بعدها با ظهور روان‌شناسی شناختی (Cognitive Psychology) در دهه‌ی ۶۰ میلادی، این نگاه تغییر کرد. پژوهشگران تلاش کردند درون جعبه‌ی سیاه ذهن را باز کنند و با استفاده از مدل‌های رایانه‌ای، تصویربرداری مغزی و علوم عصب‌شناختی، بفهمند که فرایندهای ذهنی چگونه از ورودی‌ها به رفتار منتهی می‌شوند.به‌نوعی می‌توان گفت امروز در هوش مصنوعی همان نقطه‌ای ایستاده‌ایم که علم روان‌شناسی در میانه‌ی قرن بیستم ایستاده بود. این پدیده باعث نگرانی‌های مهمی در زمینه‌های اخلاقی، شفافیت، و اعتماد به هوش مصنوعی شده است؛ به همین دلیل شاخه‌ای به نام هوش مصنوعی توضیح‌پذیر (Explainable AI یا XAI) شکل گرفته تا بتواند تصمیم‌های ماشین را برای انسان‌ها قابل فهم و قابل اعتماد کند. یعنی از «دیدگاه جعبه‌ سیاه» در حال حرکت به سمت «توضیح‌پذیری و فهم درونی فرایندها» هستیم.https://en.wikipedia.org/wiki/Explainable_artificial_intelligence