پیش‌نوشت: محمدرضا محمودی زیر نوشتهٔ قبلی با عنوان چند کتاب از خوانده‌های اخیر به صحبتی که اخیراً از جیکوب کاکسون دربارهٔ هوش مصنوعی و خطر انقراض انسان اشاره کرد و به من گفت که من هم نظر خودم رو بگم. طبعاً نظر من در این زمینه تخصصی نیست و برداشتی هست که بر اساس تحربه‌ها، دیده‌ها و شنیده‌ها، خوانده‌ها و همین‌طور مدل‌هایی از توسعهٔ تکنولوژی و دینامیک تغییر قدرت در ذهنم دارم شکل گرفته. بنابراین، به‌ همون سبکی که معمولاً اول چنین نوشته‌هایی می‌گم، فرض کنید این نظر رو دارید توی تاکسی یا اتوبوس می‌شنوید.

مقدمه | برای کسانی که خوانندهٔ پیوستهٔ نوشته‌های من نیستند

با توجه به این‌که بخشی از مخاطبان نوشته‌های من، خوانندگان گذری هستند که نوشته‌های قبلی من رو در روزنوشته و متمم و در قالب کامنت‌ها نخونده‌ان، لازمه در چند جمله نگاه کلی خودم رو به موج جدید AI بنویسم. دوستان خودم می‌تونن بخش مقدمه رو رد کنن و بخش بعدی رو بخونن.

یک – عبور انسان از محدودیت‌های خود | من از علاقه‌مندان به هوش مصنوعی هستم. معتقدم جهان مبنای کاملاً محاسباتی (computational) داره. اصطلاحاتی مثل هوش، خودآگاهی، آگاهی و روح رو هم نام‌گذاری‌هایی برای پدیده‌هایی کاملاً‌ محاسباتی و برخاسته (emerged) از تعامل سطح خرد در سیستم‌های پیچیده‌ای فیزیکی-شیمیایی و بیولوژیک می‌دونم. بنابراین، آیندهٔ ناگزیر و محتوم بشر رو توسعهٔ هوش مصنوعی و عبور از محدودیت‌های فعلی هوش انسان می‌دونم. علم به ما در عبور از بسیاری از محدودیت‌های «ظاهراً محتوم» کمک کرده. ما تنها جانوری هستیم که از قفس گرانش زمین گریخته‌ایم (موشک، هواپیما و فضاپیما). از محدودیت‌های سرعت حرکت فرار کرده‌ایم و سریع‌تر از هر حیوان دیگری می‌دویم (با خودروهایمان). و قطعاً اولین جانداری خواهیم بود که از محدودیت‌های شناختی (cognitive limits) مغز خودمون هم عبور خواهیم کرد.

دو – دربارهٔ شرکت‌های پیشتاز فعلی | باورم این نیست که اتفاق‌های بزرگی که قراره برای انسان بیفته (در بخش یک گفتم)، به موج فعلی هوش مصنوعی و کسانی مثل سم آلتمن (Open AI) و داریو آمودی (Anthropic) ربط پیدا بکنه. این افراد و این شرکت‌ها رو پیام‌آوران سبک جدید زندگی انسان نمی‌بینم. اگرچه قطعاً یک پله هستند؛ در مسیری که به «عبور انسان از خودش و محدودیت‌هاش» منتهی می‌شه.

سه  – دربارهٔ تب هوش مصنوعی | معتقدم که ما الان در میانهٔ یک تب بزرگ هوش مصنوعی هستیم. در واقع در یکی از تابستان‌هایی هستیم که در آینده با زمستانی همراه خواهد شد. به بیان دیگه، ما الان داریم سومین تابستان هوش مصنوعی رو می‌گذرونیم. دو تابستان قبلی در نیمهٔ قرن بیستم و در دههٔ هشتاد و نود اتفاق افتاده‌اند (درس زمستان هوش مصنوعی در متمم). وقتی می‌گیم تب یا هایپ، منظورمون این نیست که هیچ اتفاقی نیفتاده. علم و تکنولوژی دستاوردی نداشته‌ان. یا حرف‌هایی که شرکت‌های پیشرو تکنولوژی ادعا می‌کنن دروغه. بلکه منظور اینه که «انتظار از سیستم‌ها» فراتر از «ظرفیت واقعی سیستم‌ها» است.

میشه به زبان ساده این‌طوری گفت که مثلاً اگر در هر موج جدید هوش مصنوعی، توانمندی‌ واقعی سیستم‌ها ۱۰ برابر شده، به اشتباه این تصور به وجود اومده که ما الان با توانمندی ۱۰۰ برابری روبه‌رو هستیم. این تصور نادرست باعث میشه سرمایه‌گذاری‌های زیاد و تهاجمی انجام بشه، تغییرات افراطی شکل بگیره، و انتظارات بسیار بزرگ شکل بگیره، بعد از مدتی که مشخص می‌شه توانمندی ۱۰ برابر رشد کرده، افراد و نهادهایی که تصور رشد ۱۰۰ برابری داشتن، عقب می‌کشن و ناامید می‌شن و یه دوره توقف موقت پیش میاد (زمستان هوش مصنوعی بعدی).

عدد ۱۰ و ۱۰۰ رو همین‌جوری و بدون مبنا گفتم. اما اصل حرفم اینه که همون افزایش واقعی (۱۰ برابری یا هر چیزی شبیه این) واقعاً بزرگه. خیلی بزرگ. وظیفهٔ صاحب‌نظران، نویسندگان، معلم‌ها، شرکت‌ها و بقیهٔ افراد تأثیرگذار که دلسوز علم و تکنولوژی هستن اینه که انتظارات جامعه رو تعدیل کنن تا در آینده موج دلسردی شکل نگیره و مسیر پیشرفت بشر رو به جلو کند نشه. اتفاقی که متأسفانه پیش از این در مورد هوش مصنوعی دو بار افتاده (پیش از اون هم در صنایع دیگه مثل راه‌آهن افتاده. این تابستان‌ها و زمستان‌ها برای کسانی که در زمینهٔ تاریخچهٔ تکنولوژی مطالعه دارن، ناآشنا نیست).

چهار – دربارهٔ دو ریشهٔ اصل تب جدید | تب‌های قبلی در هوش مصنوعی بیشتر بین دانشگاهیان، شرکت‌های تجاری و سیاست‌گذاران (دولت‌ها) وجود داشت. مردم عادی خیلی درگیرش نشدن.

تب مردم: به‌خاطر این‌که هوش مصنوعی مولد (Gen AI) و مدل‌های بزرگ زبانی (LLMs) کمک کرده که انسان‌ها مستقیم با دستاوردهای هوش مصنوعی در تماس باشن، شوق عمومی خیلی زیاده و بخش بزرگی از انسان‌ها فکر می‌کنن تکنولوژی از مرزی که پیش‌از‌این ناممکن تلقی می‌شده عبور کرده (امروز همهٔ ما می‌تونیم به همهٔ زبان‌ها نامه بنویسیم یا کتاب بخونیم. پنجاه سال پیش میشد با این معجزه ادعای پیامبری کرد).

تب مردم رو از این‌جا می‌شه فهمید که با اتفاق‌های بزرگ‌تر که پیش از این افتاد، هیجان‌زده نشده‌ان. می‌دونیم که مدل‌های زبانی (LLM‌ها) و اساساً هوش مصنوعی یه محدودیت بزرگ دارن که الان بخش زیادی از تلاش‌ها بر اون متمرکزه: داشتن مدلی از جهان فیزیکی (World Model یا WM). خودران‌ها (Autonomous Vehicles) مثل تسلا تا حدی به WM نزدیک هستن و اتفاق بسیار بزرگ‌تری در پیشرفت AI محسوب می‌شن. اما هیجانی که براشون شکل گرفت بسیار کمتر از LLM‌ها بود. علتش هم واضحه، برای مردم عادی درک این‌که WM چقدر سخته و چقدر می‌تونه معجزه‌آمیز باشه سخته. اما این‌که یه سیستم به زبان خودشون باهاشون حرف بزنه و بتونه اطلاعاتی رو که قبلاً در وب دیده سنتز و بازتولید کنه، به چشم‌شون میاد.

گفتگو با ماشین به زبان روزمره اثرات دیگری هم داشته است. از جمله این‌که مردم توانسته‌اند بعضی ظرفیت‌های هوش مصنوعی را – که پیش از این وجود داشته – از نزدیک لمس و تجربه کنند. کارهایی مثل برررسی و تفسیر عکس‌های رادیولوژی یا نوار قلب و … از جمله دستاوردهای قدیمی هوش مصنوعی هستند و کمتر کسی در دنیای AI با تجزیه و تحلیل الگوی نمودارها (pattern detection / time series analysis) یا دسته‌بندی و برچسب‌گذاری تصاویر (image classification) شگفت‌زده می‌شود. اما بعد از رواج LLM‌ها مردم عادی توانستند بدون کدنویسی با ماشین حرف بزنند و این قابلیت‌ها را تجربه کنند. در واقع دستاوردهایی که طی چند دهه کسب شده بود و مردم از آن درک یا خبر نداشتند، به‌شکل انباشته و ناگهانی تجربه شد و طبعاً جامعه را شوک‌زده کرد.

واضح است که تحولات اخیر تبعات واقعی هم دارد. دسترسی ساده و ارزان به AI آن را به یک تکنولوژی عمومی (general technology) مثل برق تبدیل می‌کند. اما مسئله این است که برآورد عامهٔ مردم از ارزش اقتصادی این تحول ممکن است بسیار بیشتر از ارزش واقعی‌اش باشد (و به نظر من چنین شده است).

تب سهامداران فعلی: ما الان در وضعیت Pre-IPO هستیم؛ پیش از عرضهٔ عمومی سهام شرکت‌های بزرگ AI. این شرکت‌ها در حال حاضر به‌شدت نیازمند منابع هستن. هم منابع مالی و هم منابع دیگه مثل زمین و انرژی و … دعواهایی که سر دیتاسنترها در آمریکا هست و متوسل شدن آمریکا به کشورهای عربی (که هم سرمایه‌دار هستند و هم روحیهٔ آینده‌نگر و پیشرو دارن) در راستای نیاز به همین سرمایه است.

بنابراین، هم مالکان و ذی‌نفعان شرکت‌ها از شکل‌گیری تب هوش مصنوعی استقبال می‌کنن (تا بشه عرضهٔ اولیه رو با قیمت بالاتر انجام داد و تأمین سرمایهٔ بهتری انجام بشه) و هم مردم ناخودآگاه با این موج همراهی می‌کنن. همین‌هاست که می‌تونه احتمال وقوع زمستان هوش مصنوعی بعدی رو افزایش بده. البته نه به این معنا که – مثل سری‌های قبل – مدت‌ها اسمی از هوش مصنوعی نباشه، بلکه احتمالاً به شکل سقوط جدی سهام بعضی از شرکت‌های پیشرو در هوش مصنوعی در سال‌های آینده.

پنج | ترکیدن حباب هوش مصنوعی به معنای متوقف شدن پیشرفت آن نیست.

گاهی اوقات در رسانه‌‌ها اصطلاح «ترکیدن حباب» را طوری به‌کار می‌برند که انگار پس از آن قرار است همه AI را کنار بگذارند و دنبال زندگی قبلی خود بروند. AI ‌bubble اصلاً چنین معنایی ندارد. چنان‌که ترکیدن حباب دات کام هم چنین تبعاتی نداشت. درست است که سهام بسیاری از شرکت‌ها سقوط کرد و بسیاری از آن‌ها نابود شدند. اما اینترنت همچنان رشد کرد و دنیای پس از ترکیدن حباب دات کام، دنیای وب و اینترنت و شبکه‌های اجتماعی شد. حتی بعضی از شرکت‌های مطرح پیش از ترکیدن حباب – البته با تحمل فشار زیاد – به غول‌های دهه‌های بعد تبدیل شدند (مثلا‌ آمازون).

پس از آن در این میان، دو بازندهٔ اصلی وجود داشتند: سرمایه‌گذاران و نیز مدیرانی که از ترس عقب‌ افتادن، مدل کسب‌و‌کار یا استراتژی خود را به‌شدت و به‌صورت رادیکال تغییر داده بودند. آن‌ها احساس می‌کردند اگر در این موج جدید پیشگام (first-mover) نباشند، به‌کلی حذف خواهند شد. در حالی که بعداً دیدیم بسیاری از غول‌های اینترنتی با تأخیر (و پس از ترکیدن حباب) وارد شدند و بعداً میدان را در دست گرفتند.

بنابراین، بعد از ترکیدن حباب AI هم قطعاً دنیای ما دنیای مبتنی بر هوش مصنوعی خواهد بود و پیشرفت‌هایی که حاصل شده، حذف یا کمرنگ نخواهند شد.

با این توضیح، حتی کسانی مثل من که معتقدند ما الان در حباب AI به سر می‌بریم و در سال‌های پیش رو ترکیدن آن را خواهیم دید، همچنان سوال «تهدید وجودی AI» را حداقل در حد سوال، جدی می‌گیرند و به آن فکر می‌کنند.

شش | (از نظر من) معماری فعلی مدل‌ها نمی‌تواند معماری نهایی جایگزین هوش انسان باشد.

این را هم همیشه گفته‌ام که باور من این است که مدل‌های فعلی، اگر تغییری بنیادین در معماری خود نداشته باشند، صرفاً با بزرگ‌تر شدن نمی‌توانند به دستاوردی معجزه‌آسا برسند (در واقع ادعای scale is everything را باور ندارم). منظقم را هم می‌توانم به چند شکل توصیف کنم (که می‌تواند موضوع یک مطلب مفصل دیگر باشد):

• کار مدل‌های فعلی بیشتر از جنس compression است تا abstraction
• مدل‌های فعلی energy efficient نیستند. هر پیشرفتی در تکنولوژی، از اختراع آتش تا اینترنت و پرتاب موشک به فضا، یک task را به‌شکلی کاراتر و کم‌انرژی‌تر از قبل انجام می‌داده‌اند.
• مدل‌های فعلی در عین این‌که بر مبنای پارادایم distributed cognition و با رویکرد connectionist ساخته شده‌اند و از این منظر بسیار جلوتر از نسل قبل سیستم‌های هوشمند هستند، هم‌چنان در فاز آموزش شبیه رویکردهای brute force آموزش می‌بینند.

من یکی از علت‌های شکل‌گیری حباب هوش مصنوعی در آینده را ناامید شدن از ظرفیت‌های معماری فعلی و حرکت به سمت معماری نسل بعد این تکنولوژی می‌دانم.

دربارهٔ مفهوم Alignment (همسویی)

قاعدتاً کسانی که بخواهند دربارهٔ تهدیدها و خطرات AI مطالعه کنند، به‌ سراغ بحث Alignment (همسویی) می‌روند. همسویی چتر بزرگی است که بخش مهمی از نگرانی‌های مربوط به عملکرد مخاطره‌آمیز هوش مصنوعی را پوشش می‌دهد.

ایدهٔ اصلی در alignment این است که بررسی کنیم و ببینیم آیا رفتارها و اهدافی که یک سیستم مبتنی بر هوش مصنوعی دنبال می‌کند، با اصول، اهداف و ارزش‌های انسانی سازگار (همسو / align) است یا نه؟ و علاوه بر این،  ببینیم چه فرایندها، چارچوب‌ها و مکانیزم‌هایی را می‌شود تعریف کرد که احتمال خروج از چارچوب‌های مطلوب انسان را کاهش دهد.

مراکز تحقیقاتی و پژوهشگرانی که در حوزهٔ alignment مطالعه می‌کنند، از موضوعات نسبتاً ساده‌تر مثل برابری، قضاوت اخلاقی و کاهش سوگیری‌ها  تا موضوعات بنیادی‌تر مثل «تهدید وجودی / existential threat» و خطر انقراض را بررسی می‌کنند.

طبیعی است در چنین نوشته‌ای نمی‌شود بحث تهدید وجودی را به‌طور کامل و همه‌جانبه بررسی کرد (هم جا نیست و هم سواد و تخصصش).

بنابراین من در این‌جا – در حدی که از یک نوشتهٔ شتابزدهٔ وبلاگی انتظار می‌رود – تهدیدهای هوش مصنوعی را به دو دستهٔ متعارف و نامتعارف تقسیم می‌کنم و در بخش نامتعارف به سراغ دو نمونه از تهدیدهای جدی‌تر (به قضاوت خودم) می‌روم.

دربارهٔ تهدیدهای متعارف

بعضی از تهدیدهای هوش مصنوعی را می‌شود تهدید متعارف نامید؛ به معنای لغوی آن: تهدید شناخته‌شده یا تهدید آشنا.

مثلاً‌ می‌دانیم دیتاسنترهای هوش مصنوعی به‌شدت به انرژی وابسته‌اند و هر جا راه‌اندازی شوند، تأثیرات اکولوژیکی غیرقابل‌چشم‌پوشی دارند (حدود دو سال پیش که هنوز بحث انرژی و دیتاسنتر به‌اندازهٔ این روزها داغ نبود،‌ در شرایطی که دولتی‌های ما گرفتار تب هوش مصنوعی ملی بودند، نوشتم که رقابت در دنیای مبتنی بر هوش مصنوعی دو پایهٔ اصلی دارد: برق و اعتماد مردم به دولت. و منظورم این بود که فعلاً حرکت به سمت هوش مصنوعی ملی از ظرفیت‌های ساختاری ما فاصله دارد).

به‌عنوان تهدیدی دیگر، می‌دانیم که این نوع تکنولوژی قاعدتاً بازار کار را تغییر می‌دهد (و همین الان هم اثرات آن را می‌بینیم). بعضی از حرفه‌ها ممکن است تغییر شکل بدهند یا حتی به‌کلی منقرض شوند. محیط کار بعضی از حرفه‌های دیگر هم به‌کلی تغییر می‌کند. در یک کلام می‌شود گفت ساختار بازار کار به هم می‌ریزد.

علاوه بر این، عرضه و تقاضا در بسیاری از حوزه‌های اقتصاد تغییر می‌کند. قطعاً ساختار عرضه و حجم عرضه در بسیاری از حوزه‌ها تغییر می‌کند. به‌ویژه حوزه‌هایی که محدودیت فیزیکی کمتر دارند (تعداد پاسخ‌گوهای یک کال‌سنتر را می‌شود راحت و تا هر مقیاسی افزایش داد. اما تولید کیک، بنزین، خودرو و … گرفتار محدودیت‌های فیزیکی است).

ضمن این‌که تقاضاهای الگوریتمی هم بیشتر از پیش می‌شوند. البته تقاضای الگوریتمی قبلاً هم با موتورهای و شبکه‌های اجتماعی به وجود آمده بود:

• بسیاری از مردم چیزی را می‌خرند که الگوریتم‌ها به آن‌ها پیشنهاد می‌دهند.
• بسیاری از مردم چیزی را می‌خوانند یا محتوایی را می‌بینند که الگوریتم‌ها به آن‌ها پیشنهاد می‌دهند.
• بسیاری از مردم پاسخی را دریافت می‌کنند که الگوریتم (در این‌جا Gen AI) برای سوال‌شان تولید می‌کند.
• …

مهم‌تر از همه، قدرت ذهنی (cognitive power) – چنان‌که پیشتر هم گفته‌ام – به یک کالا تبدیل می‌شود؛ و این یعنی همان‌طور که دوشاخه را به پریز برق می‌زنیم و برق می‌گیریم، می‌شود خودمان را به اکانتGen AI وصل کنیم و هوش بگیریم. من عمیقاً معتقدم که «فعلاً تا زمانی که هوش مصنوعی جایگزین هوش انسانی شود فاصلهٔ زیاد داریم.» اما خود این جمله هم بسیار ساده‌شده و گمراه‌کننده است. وقتی می‌گوییم هوش انسانی باید دقیقاً بگوییم منظورمان کدام انسان است و در چه حوزه‌ای. ما همین الان در اطراف خود انسان‌های زیادی داریم که هوش مصنوعی که هیچ، اگر به جایشان تاس قرار دهیم تا تصمیم بگیرد، کیفیت تصمیم‌گیری‌شان بهتر می‌شود. چون تاس «همیشه» غلط از آب در نمی‌آید. اما کم نیستند کسانی که در تحلیل وضعیت‌ها، تصمیم‌گیری و سیاست‌گذاری «همیشه» غلط تصمیم می‌گیرند.

فهرست این نوع تهدیدها را می‌شود خیلی طولانی‌تر و کامل‌تر کرد.

حرفم این است که بخشی از تهدیدهای هوش مصنوعی تهدیدهای متعارف هستند. تهدیدهایی که با ظهور هر تکنولوژی نوظهور به وجود می‌آیند و به‌تدریج حذف، مدیریت یا مهار می‌شوند. ضمن این‌که محیط (مردم، جامعه، نهادها و …) هم کم‌کم خود را با تکنولوژی جدید سازگار می‌کند تا از ظرفیت‌های آن بهتر استفاده کرده و خطرات آن را محدودتر کند.

بررسی تاریخچهٔ تکنولوژی‌های نوظهور مانند ماشین چاپ، برق، ماشین بخار، دموکراسی و خط تولید نشان می‌دهد که مسیر تکامل تکنولوژی‌های نوظهور و تطبیق آن‌ها با محیط چگونه پیش می‌رود.

دربارهٔ تهدیدهای نامتعارف

در کنار تهدیدهای متعارف که به چند نمونه از آن‌ها اشاره کردم، دو نوع تهدید نامتعارف هم وجود دارد که توجه من را به خود جلب کرده و دوست دارم آن‌ها را به‌شکل مختصر در این‌جا شرح بدهم.

من اصطلاح تهدید نامتعارف را برای تهدیدهایی به‌کار می‌برم که حداقل واجد یکی از دو شرط زیر باشند:

• تهدیدهایی که منتظر آن‌ها نیستیم (چون شناخته‌شده نیستند یا تجربهٔ قبلی مواجهه با مشابه‌شان را نداریم).
• تهدیدهایی که منتظرشان هستیم (و احتمال وقوع‌شان را در نظر می‌گیریم)، اما پیچیدگی یا مقیاس اثرگذاری‌شان به‌گونه‌ای است که پاسخ متعارف و شناخته‌شده‌ای برایشان نداریم.

به‌ زبان دیگر، هر نوع دو تهدیدی که در بالا گفتم، یک وجه «ناشناخته / نامتعارف» دارند: اولی ماهیت ناشناخته دارد و دیگری پاسخ ناشناخته.

اسم تهدید نامتعارف اول را گذاشته‌‌ام «لحظهٔ کوویدی / COVID moment» و برای تهدید دوم را هم نام «اثر پهپادی / drone effect» را انتخاب کرده‌ام. علت نام‌گذاری را در ادامه شرح می‌دهم.

تهدید لحظهٔ کوویدی  

می‌دانیم که برای شکل‌گیری ویروس کووید دو تئوری وجود دارد. تئوری اول این است که ویروس در طبیعت به وجود آمد و در بازارچهٔ ووهان دامن‌گیر انسان شد. تئوری دوم این است که ویروس حاصل تحقیقات GoF یا Gain of Function بود که در آزمایشگاه ووهان (در نزدیکی بازار ماهی‌فروشان ووهان) تولید شده بود و از آزمایشگاه نشت کرد (Lab Leak Theory).

قبلاً بارها گفته‌ام، و چون ممکن است کسانی که این نوشته را می‌خوانند آن‌ توضیحات را نخوانده باشند، باز تکرار می‌کنم که تئوری دوم از جنس تئوری توطئه و تلاش برای کاهش جمعیت جهان و جا دادن جی‌پی‌اس توسط واکسن‌های بیل‌گیتسی در بازوی مردم و … نیست. تئوری دوم، بر این مبناست که تحقیقات GoF تحقیقاتی بشردوستانه هستند که به‌صورت پیش‌دستانه، ویروس‌های تقویت‌شده‌ای را خلق کرده و واکسن (و دیگر راه‌های مبارزه و مهار آن‌ها) را کشف / طراحی می‌کنند تا ظرفیت دفاعی سیستم‌های بهداشت و درمان برای مواجهه با ویروس‌های ناشناختهٔ آتی افزایش یابد.

من پیش از این در زمان کرونا این بحث را در قالب «منشاء ویروس کرونا» نوشته‌ام. اخیراً هم در دورهٔ فکر کردن با نوشتن در متمم در بحث ژورنال نویسی به دفتر خاطرات آنتونی فاوچی پرداختیم و یک فایل صوتی هم دربارهٔ فاوچی و حاشیه‌هایش (تفاوت ژورنال‌نویسی و خودافشایی) داشتیم.

شما قاعدتاً یکی از دو موضع زیر را دارید:

• یا مثل من (و البته بخشی از سناتورهای آمریکایی که ماجرایشان را می‌دانید) به این باور رسیده‌اید که ویروس کرونا ناشی از نشت آزمایشگاهی در چین بوده.
• یا محافظه‌کارانه‌تر برخورد می‌کنید و مثل آنتونی فاوچی می‌گویید: نشت آزمایشگاهی «می‌توانسته» منشاء باشد. همان‌طور که ووهان می‌‌توانسته منشاء باشد. اما نمی‌شود ۱۰۰٪ گفت کدامیک منشاء بوده‌اند.

حالت سومی وجود ندارد.

هر دو حالت در یک موضوع مشترکند: این‌که بعضی از پژوهش‌های GoF این ظرفیت را داشته (و دارند) که در اثر بی‌دقتی و نشت آزمایشگاهی، به فاجعه‌ای انسانی تبدیل شوند.

من اسم این اتفاق را COVID moment یا لحظهٔ کوویدی می‌گذارم. به این معنا که:

پروژه‌ای با نیت بشردوستانه انجام می‌شود و واقعاً هم ظرفیت‌های مثبت بسیاری دارد. اما این ریسک هم وجود دارد که پروژه در اثر خطا یا بی‌دقتی در کنترل، بحرانی را بیافریند که هیچ تصوری از حد و اندازهٔ آن و حتی امکان مهار‌ آن وجود ندارد.

اولین نمونهٔ لحظهٔ کوویدی در جهان (با این نام‌گذاری که من انجام دادم) فراگیر شدن کرونا نبوده است! نمونه‌های قدیمی‌تری هم وجود دارند. مثلاً زمانی که تکنولوژی هسته‌ای در دوران جنگ سرد برای غنی‌سازی استفاده می‌شد (حوالی دههٔ هفتاد میلادی)، فرض بر این بود که قرار است از انرژی هسته‌ای فقط برای غنی‌سازی استفاده شود. این ریسک جزئی هم وجود داشت که تکنولوژی غنی‌سازی با دانش‌های مکمل در کنار هم قرار بگیرند و مجموعه‌ای از دانش فنی ساخت سلاح هسته‌ای به‌وجود بیاید. و به‌فرض چنین اتفاقی، تبعات آن چندان قابل‌تصور نبود. فقط می‌شد حدس زد که اتفاق بزرگی است.

لحظهٔ کوویدی هسته‌ای در نیمهٔ دههٔ هفتاد میلادی اتفاق افتاد. عبدالقدیر خان، دانشمند پاکستانی، مجموعه‌ای از اسناد هسته‌ای را از لابراتواری در هلند خارج کرد و با ترکیب چند مجموعهٔ دیگر یک پکیج ارزشمند سلاح هسته‌ای ساخت و به پاکستان، لیبی، کرهٔ شمالی و برخی کشورهای دیگر فروخت. جزئیات بیشتر این قصه فراتر از حوصلهٔ بحث ماست. اما چیزی که قطعاً می‌توان گفت این است که دنیا هیچ‌وقت به قبل از عبدالقدیر خان برنگشت و برنخواهد گشت.

آیا هوش مصنوعی می‌تواند لحظهٔ کوویدی داشته باشد؟ کسانی که هشدار می‌دهند و می‌گویند نگرانند، معتقدند که پاسخ این سوال مثبت است.

این افراد اصرار ندارند که حتماً و قطعاً اتفاق بدی خواهد افتاد. اما معتقدند این ابزار قدرت مهارناپذیری در اختیار صاحبانش قرار می‌دهد و اگر این قدرت در اثر بی‌دقتی یا توجه نکردن به ریسک‌ها از دست توسعه‌دهندگانش خارج شود، معلوم نیست دیگران با آن چه خواهند کرد.

چون داستان پالانتیر را در متمم گفته‌ایم، یک مثال خوبش می‌تواند پالانتیر باشد. شرکت پالانتیر عملاً پوسته‌ای نظامی است که روی سرویس‌های آنتروپیک (و اخیراً Open AI نشسته) و در جریان جنگ اوکراین و بسیاری از جنگ‌های دیگر در جهان به‌کار گرفته شده است.

توجه کنید که هشدار هشداردهندگان از جنس پیش‌بینی یا پیش‌گویی نیست. بلکه سناریوپردازی است. این نکته‌ای است که نباید از چشم‌مان دور بماند. کسی که سناریوپردازی می‌کند،‌ اصرار ندارد که این اتفاق خواهد افتاد. اما معتقد است که باید این سناریو را هم به‌عنوان یکی از سناریوهای محتمل جدی گرفت (به‌ تعبیر آینده‌پژوهان، به‌عنوان یکی از آینده‌های ممکن).

برخلاف کسی که چیزی را پیش‌بینی می‌کند و دوست دارد آن اتفاق بیفتد، کسی که در زمینهٔ ریسک‌های وجودی سناریوپردازی می‌کند، خوشحال‌تر می‌شود که سناریویی که مطرح کرده اتفاق نیفتد. اصلاً‌ هدف طرح سناریو هم همین است. این سناریوها را مطرح می‌کنند تا شرکت‌ها، دولت‌ها و سیاست‌گذاران حساس‌تر شوند و احتمال وقوع این سناریوها را کاهش دهند.

بنابراین، اگر بعداً این تکنولوژی‌ها نشت نکرد و اتفاق بدی نیفتاد، نباید بگوییم: «خاک بر سر فلانی که الکی بدبین بود و همه را ترساند.» باید بدانیم که افرادی که این نوع هشدارها را به‌شکل جدی مطرح می‌کنند و گاهی برای تأکید بر اهمیت‌ سناریو، مسیر شغلی‌شان را رها کرده و استعفا می‌دهند، با همین کارهایشان نقش مهمی در کاهش احتمال وقوع سناریو ایفا می‌کنند.

تهدید اثر پهپادی

دیدیم که مبنای تهدید لحظهٔ کوویدی این است که یک تکنولوژی در دست افرادی توسعه پیدا کرده و خودشان معتقدند که آن را در محدودهٔ مشخصی استفاده می‌کنند. اما این ریسک وجود دارد که تکنولوژی در صورت عدم حفاظت در اختیار افراد، مجموعه‌ها و نهادهای دیگری قرار بگیرد که ملاحظات و محدودیت‌های کمتری دارند و ممکن است تکنولوژی را در راستای هدف‌هایی که مد نظر سازندگان نبوده، به‌کار بگیرند.

اما شکل دیگری از تهدید هم وجود دارد که من اسم را اثر پهپادی یا drone effect می‌گذارم. در این‌جا دیگر بحث بر سر این نیست که باید از یک تکنولوژی حفاظت کرد و مراقب بود که نشت نکند و باید قوانینی برای رگولاتوری آن در نظر گرفت و …

بحث جدی‌تری روی میز قرار می‌گیرد: همین که تکنولوژی توسعه پیدا کرد، به‌ صِرف توسعه پیدا کردن، عملاً در اختیار همه هست! و توسعه‌دهندگان در جایگاهی نیستند که کاربرد آن را کنترل، تنظیم یا مدیریت کنند.

به محصولی مثل پهپاد (drone) فکر کنید. همین که پهپاد درست شد و این ایده در ذهن همهٔ مردم دنیا جا افتاد که می‌شود وسایل پرندهٔ ارزان‌قیمتی را با هدایت‌پذیری از راه دور طراحی کرد و جابه‌جایی هوایی در نظر گرفت، دیگر دنیا به قبل از این نقطه برنمی‌گردد. چیزی که مهم بود، خود ایده بود. حالا که ایده تست شد، دیگر این گزینه به «عالم امکان / the world of possibilties» افزوده شده است.

تولید برق هم نمونه‌ای از همین اثر است. دیگر برای ما مهم نیست که اولین بار برق را تسلا اختراع کرد یا ادیسون. مهم این است که فهمیدیم می‌شود انرژی مکانیکی را به برق تبدیل کرد و مکانیزمش هم چندان سخت نیست (حتی با رکاب زدن دوچرخه و یک دینام ساده هم برق تولید می‌شود). بنابراین، پس از این‌که برق اختراع شد و مکانیزم تولید آن مشخص شد، دیگر جهان به قبل از آن نقطه برنمی‌گردد. حتی اگر مخترع برق بیاید بگوید: مردم من پشیمانم. غلط کردم. از برق استفاده نکنید و …

می‌شد اسم این پدیده را electricity effect هم گذاشت. و پهپاد را به‌عنوان یک نمونه از آن مطرح کرد. اما من عمداً اسمش را drone effect گذاشتم تا راحت‌تر بتوانم منظورم را در ادامهٔ حرف‌هایم برسانم.

مشکل فراگیر شدن پهپاد چیست؟ اگر پاسخ این سوال برایمان شفاف شود، درک بقیهٔ ماجرا سخت نیست.

اختراع ارزان و قدرت‌آفرینی مثل پهپاد، توزیع متناسب قدرت را به‌هم می‌زند. باید توزیع متوازن را توضیح بدهم.

اگر به قدرت‌های بزرگ جهان در طول تاریخ نگاه کنید، از زمان امپراتوری ایران و چین و روم تا قدرت‌های امروزی مثل چین و آمریکا، معمولاً مولفه‌های قدرت به‌صورت (نسبتاً) متوازن رشد کرده‌اند: قدرت نظامی، قدرت فرهنگی، قدرت اقتصادی، قدرت حمله، قدرت دفاع، قدرت تولید و …

قطعاً هر صاحب‌قدرتی همهٔ این مولفه‌ها را دقیقاً به یک اندازه نداشته. اما این‌طور هم نبوده که به‌شکلی نامتناسب و در عین حال پایدار به بقای خود ادامه دهد. روم، را با آن کتابخانه‌های بزرگ، با آن قدرت تمدنی بزرگ، و آن قدرت نظامی، دفاعی و تخریبی بزرگ، در کنار قدرت سیاسی و ساختار بروکراتیک شگفت‌انگیزش ببینید. چین و ایران و دیگران هم همین‌طور.

در دوران معاصر، بعضی از تکنولوژی‌ها توانسته‌اند این تناسب را به هم بزنند. پهپاد یکی از آن‌هاست. به حوثی‌های یمن فکر کنید. آن‌ها با قدرت پهپاد خود عملاً می‌توانند قدرت‌های بزرگ را به دردسر بیندازند. پهپاد به آن‌ها قدرت تخریبی داده، بی‌آن‌که به‌شکل متناسب، به بقیهٔ مولفه‌های قدرت مجهز باشند. رابطهٔ آن‌ها امروز با ما خوب است. اما اگر روزی تصمیم بگیرند یک ساختمان بزرگ را در وسط شهر خراب کنند (مثلاً‌ مصلی) راحت با پهپادهایشان می‌توانند. اما حالا فرض کنید با ایشان دوست شویم و بگوییم این ساختمان را که یک روزه خراب کردید، می‌توانید دوباره کامل بسازید؟ شاید بیست ساله هم نتوانند (البته خود ما هم چهل سال است که نتوانسته‌ایم). این یعنی حوثی‌ها قدرت نامتناسب دارند.

چنین شکل نامتناسبی از قدرت در پانصد سال پیش یا هزار سال پیش قابل‌تصور نبود. اگر قیصر می‌توانست رم را (به‌فرض) در یک شب به آتش بکشد، در چند سال می‌توانست دوباره یک رم با همان عظمت بسازد.

آمریکایی‌ها اسم این نوع بازیگران را malicious actors می‌گذارند. من نمی‌خواهم از چنین اسمی که بار معنایی منفی دارد استفاده کنم. اما می‌توانیم بگوییم که اثر پهپادی به «بازیگران ضدنظم رایج» قدرت می‌دهد. قدرتی که با بقیهٔ مولفه‌های قدرت‌شان متناسب نیست. معمولاً قدرت نامتناسب، با ظرفیت نهادی ناکافی (برای به‌کارگیری قدرت) هم همراه می‌شود و همین خطرات و ریسک به‌کارگیری قدرت را افزایش می‌دهد. ما با قدرت‌هایی مواجه می‌شویم که می‌توانند نظم موجود جهان یا منطقه‌ها را به هم بزنند، بی آن‌که از توانایی و ظرفیت ایجاد نظم جایگزین بهره‌مند باشند.

من این‌جا نمی‌خواهم از طرف خودم حرف بزنم. اما در بیان نگرانی‌هایی که محمدرضا محمودی پرسید، باید بگویم که گروهی از فعالان تکنولوژی و هوش مصنوعی در آمریکا معتقدند که هوش مصنوعی می‌تواند اثر پهپادی داشته باشد.

بالاخره عده‌ای امروز فهمیده‌اند و یاد گرفته‌اند که در شبکه‌های اجتماعی پیام‌هایی منتشر کنند که شبیه پیام انسان باشد. صداها و تصویرهایی بسازند که شبیه انسان باشد. و از این مهم‌تر، هوش مصنوعی (در معنای عام آن) یک تکنولوژی بسیار قدرتمند برای یافتن پاسخ در فضای جستجو است (for navigating the search space). این یعنی کارهایی مثل بیوتروریسم، مثل نفوذ به سیستم‌های کنترل و سرورها در جهان، مثل رمزگشایی از پیام‌ها، پیدا کردن نقطهٔ شکنندگی در شبکه‌های توزیع برق و … آسان‌تر می‌شود.

امروز یک گروه کوچک در یک کشور کوچک می‌تواند هر کشور بزرگ دیگری را تهدید کند. می‌تواند به زیرساخت‌های ما یا هر کشور دیگری آسیب بزند. می‌تواند شبکه‌های مالی یا خدمات آنلاین را در کشور ما یا هر کشور دیگری به‌سادگی مختل کند. می‌تواند داده‌های مردم را راحت‌تر هک کرده و به‌اشتراک بگذارد. اثر پهپادی هوش مصنوعی باعث شده قدرت به‌شکل نامتناسبی توزیع شود.

قبلاً فکر می‌کردی اگر یک گروه بخواهد یک عملیات تروریستی با خسارت میلیارد دلاری انجام دهد، باید حداقل چند میلیون دلار هزینه کند. همین  دیوار ورود را بلند و ریسک‌ها را کاهش می‌داد. اما الان تصور سناریویی که در آن یک گروه با هزینهٔ بسیار کم در حد چندده هزار دلار (یا کمتر) بتواند همان مقیاس عملیات را اجرا کند، دور از ذهن نیست. بزرگ‌ترین محدودیت الان فقط ایده‌پردازی است!

فانتوم در سطح شهر

در دوران دانشگاه استاد درس کنترل ما (مرحوم خیّر) اصطلاحی داشت که بارها در کلاس درس به‌کار می‌برد: فانتوم در سطح شهر. او همیشه می‌گفت: هیچ‌وقت به‌صورت مطلق نگویید «هواپیماهای فانتوم قدرت کنترل‌پذیری خوبی دارند.» اگر این هواپیماها قرار باشد در نزدیکی سطح زمین و داخل خیابان‌ها حرکت کنند، در اولین چهارراه سقوط می‌کنند. چون نمی‌توانند بپیچند!

این حرف بدیهی به‌نظر می‌رسد. اما منظور استاد ما این بود که هر وقت از کنترل‌پذیری یک سیستم حرف می‌زنید، به محیط آن هم اشاره کنید.

اتفاقی که الان در مورد AI افتاده، شبیه خلبانی با فانتوم در خیابان‌های شهر است. سرعت حرکت AI بالاست. این توانایی‌ را هم ندارد که در هر لحظه اراده کردیم، به هر سمتی که خواستیم بپیچد. دنیای اطراف هم دنیای نسبتاً صلب و پرریسکی است. هر اشتباه کوچکی (یا هر گریز کوچکی از کنترل) پیش از آن‌که اصلاح شود، می‌تواند به بحرانی بزرگ تبدیل شود.

نه سیستم قانون‌گذاری در جهان سرعت کافی دارد، نه درک ما از ظرفیت‌های هوش مصنوعی کامل است، نه تصوری داریم که بازیگران بد یا ضد نظم چه ایده‌هایی برای بازی در سر می‌پرورانند، و نه این‌که اگر نمونه‌ای از خطا و دردسر ببینیم، می‌شود به سرعت آن را اصلاح کنیم.

ما اولین روزها پهپاد را با تصویر رومانتیک پهپادهای دلیوری دیدیم که پیتزا را درب خانه‌ها می‌رسانند. اما چیزی که دنیا در واقعیت دید، کل منطقهٔ خاورمیانه زیر پای پهپادهای نظامی است: از کاخ پوتین در مسکو تا کشتی‌های باب‌المندب و تأسیسات نفتی عربستان.

هوش مصنوعی هم، در ذهن کسانی که نگرانی‌شان را ابراز می‌کنند، بالقوه می‌تواند اثر پهپادی داشته باشد. تصویر زیبا و رومانتیک جوانی که در خانه نشسته و با شوق می‌گوید: «من الان ده ایجنت دارم که مثل ده نفر اعضای تیم برایم کار می‌کنند» و نهایتاً هم با همهٔ تیم ایجنتی‌اش یک پست زباله در لینکدین می‌گذارد، با تصویر واقعی که ممکن است در سال‌های پیش رو ببینیم و همین جوان در آسیا، اروپا یا آمریکا، ایجنت که هیچ، نتواند برای توالت رفتنش آب پیدا کند، غیرمحتمل نیست (نمی‌گویم حتمی است. اما می‌گویم غیرمحتمل نیست).

آیا این‌ها به معنای تهدید وجودی است؟

انقراض اتفاق عجیبی است؛ هم نزدیک است و هم دور.

دور از آن جهت که همهٔ مثال‌هایی که گفتم، و بسیاری تهدیدهای بزرگ که تا کنون بشر از سر گذرانده، از همه‌گیری طاعون تا جنگ‌های جهانی تا بحران کرونا، هیچ‌یک انسان را منقرض نکرده‌اند. اگر تهدید را به معنای بحران جهانی بگیریم، چیز دور از ذهنی نیست. اما تهدید وجودی به معنای انقراض، واقعاً‌ اتفاق ساده‌ای نیست؛ حداقل با مرور سرگذشت انسان.

از طرفی، مرور سرگذشت همین انسان، نکتهٔ مهم دیگری را هم یادآوری می‌کند. ما به محض شنیدن «انقراض» یاد دایناسورها می‌افتیم. اما دایناسورهای غیرپرنده (همان‌هایی که نماد انقراض هستن) بیش از ۱۵۰ میلیون سال روی زمین زندگی کرده‌اند.

انسان امروزی (انسان خردمند) نهایتاً‌ ۳۰۰ یا ۴۰۰ هزار سال روی زمین بوده است. یعنی تقریباً هیچ. ما لحظه‌ای پیش به وجود آمده‌ایم. برخلاف دایناسورها که نشان دادند گونه‌ای پایدار و تطبیق‌یافته هستند و توانستند مدتی طولانی (در مقایسه با ما: یک ابدیت) روی زمین زندگی کنند، ما به‌قول سهراب، حباب نگران لب یک رود هستیم که همین لحظه پدید آمده‌ایم و هنوز به خودمان و به طبیعت ثابت نکرده‌ایم که قرار است بمانیم یا بترکیم و از جریان زندگی روی زمین حذف شویم.

انقراض، هم دور است و هم نزدیک.

کدام سناریو پیش روی ماست؟ نمی‌دانیم. اما یک چیز را – با تکیه بر معادلات دینامیک سیستم‌ها و منطق و ریاضیات – می‌توان گفت و آن این است که افزایش سرعت رشد، برای ما میمون‌های تازه‌-از‌-جنگل-گریخته با مغزهایی که هنوز ساختار جنگلی خود را حفظ کرده، ریسک ناپایداری در مسیر را افزایش می‌دهد.

پی‌نوشت ۱: می‌دانم که خیلی کوتاه، سرسری و شتابزده شد. اما دستم (از نظر زمان و چیزهای دیگر) همین‌قدر باز است که بنشینم و بنویسم.

پی‌نوشت ۲: عکس بالای این نوشته مربوط به روستای هوتوان چین است که در یکی از زنگ توقف‌های متمم با آن آشنا شده‌اید. این روستا (و این نوع روستاها و مناطق رها شده) به ما یادآوری می‌کنند که زمین، آن‌قدرها هم که فکر می‌کنیم مال ما نیست. گونهٔ ما برای مدت کوتاهی مهمان این خاک است و آن‌چه پیش از ما بوده، پس از ما هم خواهد بود و آماده است تا جای خالی‌مان را پر کند. سال‌ها پیش نوشته بودم که دایناسورهای موریانه‌خوار منقرض شدند و موریانه‌ها هم‌چنان به زندگی خود روی زمین ادامه می‌دهند.