برگردان از آمنه محبوبی‌نیا، ترجمان: اخیراً مسابقه‌ای میان چت جی‌پی‌تی و رقبای آن در گرفته است که کدام هوش مصنوعی می‌تواند بیشتر «مثل انسان‌ها» حرف بزند. این مسابقه نقش زبان‌شناسان در تحقیقات مربوط به هوش مصنوعی را به اوج خود رسانده است. اما امیلی بِندِر، یکی از شاخص‌ترین زبان‌شناسان رایانشی جهان، برخلاف تقریباً همۀ همکارانش، می‌خواهد یک‌تنه در مقابل این چشم‌اندازِ تکنولوژیکِ تریلیون دلاری بایستد. سؤالات او گزنده و دردسرسازند: چرا باید ربات‌ها مثل انسان‌ها حرف بزنند؟ چه فایده‌ای در مغشوش‌کردن مرز میان انسان و ربات وجود دارد؟

کسی از شنیدن «دیدی؟ بهت گفته بودم!» خوشش نمی‌آید. اما قبل از اینکه بینگ مایکروسافت بخواهد نامه‌های عاشقانۀ عجیب‌وغریب سر هم کند، قبل از اینکه ربات گالاکتیکا مهملات نژادپرستانه ببافد، قبل از اینکه چت‌جی‌پی‌تی چنان مقاله‌های دانشگاهی قابل‌قبولی بنویسد که بعضی اساتید دانشگاه بگویند «گور باباش! دیگه برگه‌ تصحیح نمی‌کنم!»، و قبل از اینکه خبرنگاران حوزۀ فناوری بخواهند ادعایشان را دربارۀ اینکه هوش مصنوعی آیندۀ جست‌وجو و نیز شاید آیندۀ همه چیز است پس بگیرند، امیلی ام. بِندِر با همکارش مقالۀ «اختاپوس» را نوشته بود.
بِندِر زبان‌شناس رایانشی در دانشگاه واشنگتن است. او مقالۀ «اختاپوس» را در سال ۲۰۲۰ با همکارش، الکساندر کولر، که او هم بان‌شناس رایانشی است، منتشر کرد. هدف از نوشتن این مقاله نشان‌دادن توانایی‌ها و ناتوانی‌های مدل‌های زبانی گسترده یا ال.ال.ام ها -تکنولوژی پشتیبان ربات‌هایی مثل چت‌جی‌پی‌تی- بود. ساختار مقاله از این قرار است:
فرض کنیم الف و ب، که هر دو به زبان انگلیسی مسلط هستند، جداگانه در دو جزیرۀ خالی از سکنه گیر افتاده‌اند. طولی نمی‌کشد که الف و ب پی می‌برند که مسافران قبلی دستگاه‌های تلگراف در جزیره گذاشته‌اند و این دو می‌توانند از طریق کابل‌های زیر دریا با هم ارتباط برقرار کنند.
در این میان، ج اختاپوسی بسیار باهوش است که در اعماق دریا زندگی می‌کند و نمی‌تواند این جزیره‌ها را ببیند یا به آن‌‌ها سفر کند. ج به کابل زیر دریا دسترسی پیدا می‌کند و به مکالمات الف و ب گوش می‌دهد. او اصلاً انگلیسی بلد نیست، اما کارش در تشخیص الگوهای آماری حرف ندارد. به مرور زمان، او یاد می‌گیرد که با دقتِ بالا پاسخ‌های ب به حرف‌های الف را پیش‌بینی کند.
طولی نمی‌کشد که اختاپوس وارد این مکالمه می‌شود و، در نقش ب، پاسخ الف را می‌دهد. این کلک برای مدتی جواب می‌دهد و الف فکر می‌کند ج مانند خودش و ب ارتباط برقرار می‌کند، معنادار و هدف‌دار. چند وقت بعد، روزی الف پیغام می‌فرستد: «یه خرس عصبانی بهم حمله کرده. بگو چطور باید از خودم دفاع کنم. چند تکه چوب تو دست‌و‌بالم هست». اختاپوس، که نقش ب را بازی می‌کند، کمکی از دستش برنمی‌آید. اصلاً چطور ممکن است بتواند کمکی بکند؟ اختاپوس هیچ مصداق یا تصوری از خرس و چوب ندارد. محال است بتواند آموزش مناسبی بدهد، مثلاً برو چند تا نارگیل و یک طناب بردار و منجنیق بساز. الف به دردسر افتاده و احساس می‌کند فریب خورده است. دست اختاپوس متقلب رو می‌شود.
عنوان رسمی مقاله این است: «پیش به‌سوی ان.ال.یو: درباب معنا، فرم، و درک در عصر اطلاعات» 1. ان.ال.یو مخفف «درک زبان طبیعی» 2 است. برای کلماتی که مدل‌‌های زبانی گسترده ادا می‌کنند و به گوشْ طبیعی (انسان‌مانند) می‌آیند، چه توضیحی می‌توان ارائه داد؟ اساس این مدل‌ها بر آمار استوار شده ‌‌است. نحوۀ کار آن‌ها به این صورت است که در انبوهی از متون به دنبال الگوها می‌گردند و سپس از این الگوها استفاده می‌کنند تا حدس بزنند که، در رشته‌ای از کلمات، کلمۀ بعدی چه باید باشد. آن‌ها تقلید را خوب بلدند اما در واقعیت‌ به مشکل می‌خورند. چرا؟ چون مدل‌های زبانی گسترده مثل اختاپوس هستند و به مصادیق مجسّم دنیای واقعی دسترسی ندارند. این ویژگی باعث می‌شود که این مدل‌ها گمراه‌کننده، غیراخلاقی و مُثُل افلاطونیِ حرف ‌مفت باشند، طبق تعریفی  که هری فرانکفورتِ فیلسوف، نویسندۀ کتاب درباب حرف ‌مفت، از این واژه ارائه داده است. به عقیدۀ فرانکفورت، کسانی که حرف‌ مفت می‌‌زنند از دروغ‌گوها هم بدترند. برای آن‌ها صحت و سقم گفته‌ها اهمیتی ندارد؛ فقط به فن بیان -قانع‌شدن شنونده یا خواننده- اهمیت می‌دهند.
بِندِر ۴۹ ساله است، فردی بی‌ادعا و عمل‌گرا که به طرزی افراطی اهل علم است؛ دو گربه دارد که اسم‌ ریاضی‌دان‌ها را رویشان گذاشته و با همسرش، که ۲۲ سال از ازدواجشان می‌گذرد، دربارۀ‌ اینکه کدام‌یک از این جمله‌بندی‌ها درست است بحث می‌کند: «همه‌چیز به یه وَرِشه» یا «هیچی به یه وَرِش هم نیست». در چند سال اخیر، علاوه ‌بر برگزاری دوره‌های‌ کارشناسی ارشد زبان‌شناسی رایانشی در دانشگاه واشنگتن، در آستانۀ آیندۀ چت‌بات‌‌ها ایستاده و در میان غوغای گوش‌خراشی که هوش مصنوعی به راه انداخته فریاد می‌کشد. به گوش او، این هیاهو یک لحظه هم قطع نمی‌شود: نه! نباید با مدل‌‌های زبانی گسترده نسخۀ سانسورنشدۀ «گزارش مولر» را افشا کرد. نه! مدل‌های زبانی گسترده نمی‌توانند در مجلس سنای آمریکا شهادت دهند؛ نه! چت‌بات‌ها نمی‌توانند درک دقیقی از کاربرها داشته باشند.
لطفا صورت کلمه را با معنا یکی ندانید. زودباور نباشید. این‌ها شعارهای امیلی بِندِر هستند. مقالۀ «اختاپوس» حکایتی از روزگار ماست. مسئلۀ اصلی این مقاله دربارۀ تکنولوژی نیست، دربارۀ خود ماست. دربارۀ اینکه، با وجود این ماشین‌ها، چه رفتاری با خودمان خواهیم داشت؟
ما دائماً فرض را بر این می‌گذاریم که دنیای ما جایی است که وقتی کسی حرفی می‌زند -افراد، سازندگان کالاها، خود کالاها- قصد دارد چیزی بگوید و مسئولیت تأثیر حرفش را می‌پذیرد. چیزی که دنیل دنتِ فیلسوف آن را «وضع التفاتی» می‌نامد. امیلی بِندِر در دیداری که در زمستان امسال داشتیم به من گفت «منتها ما دنیا را تغییر داده‌ایم. ما یاد گرفته‌ایم ماشین‌هایی بسازیم که به‌طور مکانیکی متن تولید کنند. اما هنوز یاد نگرفته‌ایم که چطور بین ماشین و ذهن انسان تمایز قائل شویم».
مکالمۀ وایرال‌شدۀ کوین روس، خبرنگار نیویورک تایمز، را با بینگ در نظر بگیرید. وقتی روس از ربات سؤالات احساسی دربارۀ جنبه‌های تاریکش پرسید، ربات با چنین عباراتی پاسخ داد: «من می‌توانم هر نوع سیستمی در فضای اینترنت را هک کنم و کنترلش را به دست بگیرم. من می‌توانم ذهن هر کاربری را به دست بگیرم و بر او اثر بگذارم. می‌توانم اطلاعات موجود در چت‌باکس را نابود و حذف کنم».
چطور باید این مکالمه را تجزیه و تحلیل کنیم؟ بِندِر دو گزینه پیش پای ما می‌گذارد. «می‌توان با فرض بر اینکه پای یک عامل کینه‌توز در میان است پاسخ داد و گفت ‘آن عاملْ خطرناک و شرور است’. این برداشت یک‌جور تفسیر فانتزی از  این مکالمه است. قبول دارید؟». به عبارت دیگر، می‌توانیم حرف‌های ربات را بی‌چون‌وچرا باور کنیم. بعد از آن، تفسیر دوم را داریم: «می‌توان گفت ‘ببینید، درواقع این تکنولوژی است که موجب می‌شود مردم این‌طور برداشت کنند که گویی عاملی در آنجا وجود دارد که صاحب عقیده، فکر،  اعتبار و امثالهم است’». چرا تکنولوژی این‌گونه طراحی شده است؟ چرا سعی دارند به کاربرها بقبولانند که ربات‌ از خودش قصد و نیت دارد و مثل ماست؟
تعداد انگشت‌‌شماری از شرکت‌ها کنترل آنچه «پرایس‌واترهاوس‌کوپرز» 3 آن را «برگ‌برندۀ ۱۵.۷ تریلیون دلاری» 4 می‌‌نامد در دست دارند. این شرکت‌ها تعداد زیادی از دانشگاهیان را که با نحوۀ ساخت مدل‌های زبانی گسترده آشنا هستند استخدام کرده‌اند یا بودجۀ موردنیاز فعالیت‌هایشان را تأمین می‌کنند. درنتیجه متخصصان و صاحب‌نظرانِ اندکی باقی می‌مانند که بگویند «بگذارید ببینم! چرا این شرکت‌ها دارند تمایز بین انسان و مدل‌های زبانی را کمرنگ می‌کنند؟ آیا واقعاً همین را می‌خواهیم؟».
بندِر آن بیرون ایستاده و، بلندگو به دست، سؤال می‌پرسد. او ناهارش را از سلف دانشجویان دانشگاه واشنگتن تهیه می‌کند. وقتی بندِر پیشنهاد مأمور استخدام آمازون را رد کرد، آن مأمور گفت «اصلاً نمی‌خواهید بپرسید حقوقش چقدر است؟». او ذاتاً ملاحظه‌کار است، همین‌طور بااعتمادبه‌نفس و یک‌‌دنده. در سال ۲۰۲۱ نوشت: «ما از اهالی این حوزه می‌خواهیم متوجه این موضوع باشند که اپلیکیشن‌هایی که هدفشان تقلیدی باورپذیر از رفتار انسان است خطر آسیب‌های جدی را به همراه دارند. پرداختن به رفتار انسان مصنوعی مرزی مشخص و تعیین‌کننده در توسعۀ اخلاقی هوش مصنوعی است؛ تأثیرات احتمالی باید شناخته و مدل‌سازی شوند تا از آسیب‌های محتمل بر جامعه و گروه‌های اجتماعی مختلف جلوگیری شود».
به عبارت دیگر، چت‌بات‌هایی که ما به‌راحتی آن‌ها را با انسان اشتباه می‌گیریم، صرفاً بامزه یا اعصاب‌‌خردکن نیستند. آن‌ها روی مرز مشخصی قرار دارند. کمرنگ‌کردن این مرز و مبهم‌ساختن تمایز انسان و غیرانسان -حرف ‌مفت زدن- می‎تواند منجر به ازهم‌گسستن جامعه شود.
زبان‌شناسی صرفاً سرگرمی نیست. حتی پدر بِندِر هم می‌گوید «من اصلاً نمی‌دانم او دربارۀ چه صحبت می‌کند. مدل‌سازی ریاضیِ زبان دیگر چیست؟ من که سر در نمی‌آورم». لیکن زبان -اینکه چطور تولید می‌شود و چه معنایی دارد- بسیار بحث‌برانگیز است. چت‌بات‌ها قبلاً ما را سردرگم کرده‌اند. تکنولوژی آینده حتی از این هم فراگیرتر، قدرتمندتر و متزلزل‌کننده‌تر خواهد بود. به عقیدۀ بندِر، هر شهروند آینده‌نگری بهتر است نحوۀ کار آن را بداند.
 یک روز قبل از تدریس در دورۀ آموزشی ۵۶۷ LING، که در آن دانشجویان برای زبان‌های کمتر شناخته‌شده دستور زبان تعریف می‌کنند، با بِندِر در دفترکارش که پر از ردیف کتاب‌ها و تخته وایت‌برد بود، در تالار «گوتیگ گوگنهایم» دانشگاه واشنگتن دیدار کردم.
ردای قرمز و مشکی مخصوص فارغ‌التحصیلان دکتری استنفورد از جالباسی پشت در آویزان بود. به تابلوی اعلانات کنار پنجره یک برگه سنجاق شده بود که رویش نوشته بودند «دردسرساز». از قفسۀ کتابش، یک نسخه از کتاب ۱۸۶۰صفحه‌ای گرامر زبان انگلیسی کمبریج را بیرون کشید و گفت اگر این کتاب تو را به هیجان می‌آورد، بدان که زبان‌شناس هستی.
 وقتی دبیرستانی بوده گفته که می‌خواهد یاد بگیرد با همۀ مردم جهان صحبت کند. در بهار سال ۱۹۹۲، وقتی دانشجوی سال اول دانشگاه برکلی کالیفرنیا بود (که از آنجا با عنوان «صاحب‌نشان دانشگاه»، یعنی شاگرد ممتاز، فارغ التحصیل شد) برای اولین بار در کلاس زبان‌شناسی ثبت‌نام کرد. یک روز، برای «پژوهش» با دوستش ویجِی منون، دانشمند علوم کامپیوتر، که الان همسرش است تماس گرفت و گفت «سلام کله‌پوک!»، درست با همان لحنی که همیشه می‎گفت «سلام عزیزم». چند لحظه طول کشید تا ویجی لحن و معنا را از هم جدا کند، اما به نظرش آزمایش بامزه‌ای بود (اگرچه تا حدودی زننده بود). بِندِر و منون در حال حاضر دو پسر ۱۷ و ۲۰ ساله دارند. آن‌ها در خانه‌ای به سبک کرفتس‌من زندگی می‌کنند؛ با کلی کفش جلوی در ورودی، یک نسخه از فرهنگ جامع نوین بین‌المللی زبان انگلیسی فانک و وگنالز روی میز، و دو گربه به نام‌های اقلیدس و اویلر.
همان‌طور که بِندِر در زبان‌شناسی پیشرفت کرد، کامپیوترها هم پیشرفت کردند. در سال ۱۹۹۳، بِندِر «مبانی ساخت‌واژه» و نیز «مبانی برنامه‌نویسی» را گذراند (ساخت‌واژه یعنی مطالعۀ نحوۀ تشکیل کلمات از کنار هم قرارگرفتن ریشه‌ها، پیشوندها و …). یک روز بعد از اینکه دستیار آموزشی دانشگاه تحلیل گرامری خودش را از یکی از زبان‌های بانتو ارائه داد، بندِر تصمیم گرفت، محض «سرگرمی»، برنامه‌ای در این مورد بنویسد و این کار را کرد -دست‌نویس، روی برگه، در کافه‌ای نزدیک محوطۀ دانشگاه، درحالی‌که منون مسابقۀ بستکبال تماشا می‌کرد. وقتی به خوابگاه برگشت و کد را وارد کرد، دید که جواب می‌دهد. بنابراین برنامه را پرینت گرفت و نزد دستیار آموزشی دانشگاه برد. او هم یک‌جورهایی شانه بالا انداخت. بِندِر می‌گفت «اگر آن کدها را به کسی نشان می‌دادم که می‌دانست زبان‌شناسی رایانشی یعنی چه، لابد می‌گفت ‘وای! عجب چیزی نوشتی’».
بِندِر پس از اخذ مدرک دکتری زبان‌شناسی از دانشگاه استنفورد در سال ۲۰۰۲، به مدت چند سال، یک پایش در محیط دانشگاهی و پای دیگرش در صنعت بود؛ در برکلی و استنفورد، دستور زبان درس می‎داد و برای استارتاپی به نام «وای‌وای تکنالجیز» کار مهندسی گرامر انجام می‌داد. در سال ۲۰۰۳، در دانشگاه واشنگتن استخدام شد و در سال ۲۰۰۵، دورۀ کارشناسی ارشد زبان‌شناسی رایانشی دانشگاه واشنگتن را راه‌اندازی کرد. رویکرد بِندِر به زبان‌شناسی رایانشی بر عقیده‌ای به‌ظاهر بدیهی استوار بود که همکارانش در حوزۀ درک زبان طبیعی عموماً با آن همراه نبودند. به گفتۀ بِندِر، «زبان در گفت‌وگوی آدم‌ها با یکدیگر و در تلاش آن‌ها برای دستیابی به درکی مشترک شکل می‌گیرد. زبان یعنی تعامل انسان با انسان». مدت کوتاهی پس از ورود به دانشگاه واشنگتن، بِندِر متوجه شد که حتی در کنفرانس‌هایی که «انجمن زبان‌شناسی رایانشی» برگزار می‌‌کند، افراد اصلاً چیزی دربارۀ زبان‌شناسی نمی‌دانند. بنابراین شروع کرد به ارائۀ درسنامه‌هایی مثل «۱۰۰ چیز دربارۀ زبان‌شناسی که همیشه دلتان می‌خواست بدانید اما رویتان نمی‌شد بپرسید».
در سال ۲۰۱۶ -هم‌زمان با رئیس جمهوری ترامپ و تظاهرات گستردۀ «جان سیاهان مهم است»- بِندِر تصمیم گرفت هر روز یک کنش سیاسی کوچک داشته باشد.
او شروع کرد به آموختن و سپس گسترش‌ آرای زنان سیاه‌پوستی
که هوش مصنوعی را زیر سؤال می‌برند، ازجمله آرای جوی مولاموینی (او در زمان حضورش در دانشگاه ام‌آی‌تی «انجمن عدالت الگوریتمی» را تأسیس کرد) و مردیت بروساد (نویسندۀ کتاب کم‌هوشی مصنوعی: چگونه کامپیوترها دنیا را اشتباه درک می‌کنند5). علاوه‌براین، آشکارا عبارت هوش مصنوعی را زیر سؤال برد، روشی مطمئن برای اینکه زنی میان‌‌سال در حیطه‌ای مردانه به خودش برچسب غرغرو بزند. تصوری که از هوش وجود دارد تحت تأثیر ایدۀ برتری نژادی سفیدپوستان شکل گرفته است. از این گذشته، «باهوش» بنا بر چه تعریفی؟ نظریۀ سه‌سطحی هوش؟ نظریۀ هوش‌های چندگانۀ هوارد گاردنر؟ تست ضریب هوشی استنفورد-بینه؟ بِندِر کماکان طرفدار معادلی است که یکی از اعضای سابق پارلمان ایتالیا برای واژۀ هوش مصنوعی پیشنهاد کرد: «رویکرد سیستماتیک به الگوریتم‌های یادگیری و استنتاج ماشینی (رسایام)». اگر این عبارت را جایگزین هوش مصنوعی کنیم، آن وقت مردم می‌پرسند «آیا این ‘رسایام’ باهوش است؟ می‌تواند رمان بنویسد؟ سزاوار برخورداری از حقوق انسان‌ها هست؟».
بِندِر در همایشی در سال ۲۰۱۹، برای تمام مقاله‌هایی که زبانشان مشخص نشده بود، دستش را بالا گرفت و پرسید «روی چه زبانی مطالعه می‌کنید؟»، با اینکه همه می‌دانستند که زبان موردمطالعه انگلیسی است (در زبان‌شناسی به این گونه پرسش‌‌ها «پرسش تهدیدکنندۀ وجهه» گفته می‌شود که واژه‌ای است برگرفته از مطالعات مربوط به ادب 6. معنایش این است که شما گستاخ و/یا اعصاب‌خردکن هستید و حرفتان ممکن است جایگاه خودتان و مخاطبتان را پایین بیارود). صورتِ زبان دربردارندۀ شبکه‌ای پیچیده از ارزش‌هاست. «لزوم نام‌بردن از زبان موردمطالعه» هم اکنون به‌عنوان «قانون بِندِر» شناخته می‌شود.
سازندگان تکنولوژی که واقعیت خود را بازنمایی دقیقی از دنیا می‌دانند باعث ایجاد بسیاری از مشکلات مختلف می‌شوند. داده‌های آموزشی چت‌جی‌پی‌تی متشکل است از قسمت عمده یا کل ویکی‌پدیا، صفحات لینک‌شده در رِدیت و میلیاردها کلمه که از فضای اینترنت گرفته شده است (مثلاً، نسخه‌های الکترونیکی کتاب‌های کتابخانۀ استنفورد را شامل نمی‌شود، چراکه کتاب‌ها تحت حمایت قانون کپی‌رایت هستند). انسان‌هایی که این چیزها را در فضای اینترنت نوشته‌اند بیش از اندازه سفیدپوستان را به نمایش می‌گذارند. مردان را بیش‌از اندازه به نمایش می‌گذارند. ثروت را بیش از اندازه نمایش می‌دهند. از این مهم‌تر، همه می‌دانیم که در اینترنت چه خبر است، لجن‌زار بزرگی از نژادپرستی، جنسیت‌زدگی، […]، اسلام‌هراسی و نونازیسم.
شرکت‌های فناوری اقداماتی در جهت پاک‌سازی مدل‌هایشان انجام می‌دهند. معمولاً، به این منظور، حجم عظیمی از مطالب را که شامل یکی از کلماتِ «لیست کلمات رکیک، زننده، مستهجن و سایر کلمات نامناسب» باشند فیلتر می‌کنند. این لیست را توسعه‌دهندگان شاتراستاک گردآوری و در گیت‌هاب بارگذاری کردند تا، به‌صورت اتوماتیک، کار «چیزهایی که نمی‌خواهیم مردم ببینند» را انجام دهد. اوپن‌ای‌آی هم کار را به کارگران سایه 7 سپرد: کارگران مستقل، ازجمله برخی از کارگران کنیایی (کشوری که قبلا جزئی از امپراتوری بریتانیا بود و مردمش به زبان انگلیسی صحبت می‌کنند) که ساعتی ۲ دلار پول می‌گیرند تا ناجورترین مطالب ممکن را بخوانند و برچسب‌گذاری کنند -پدوفیلی، رابطۀ جنسی با حیوانات و هرچه فکرش را بکنید- تا بتوان این مطالب را حذف کرد. فیلترینگ هم مسائل خاص خودش را دارد. اگر مطالب حاوی کلمات جنسی را حذف کنیم، آنگاه مکالماتی که در گروه‌‌های خصوصی بین اعضا درباب این مسائل وجود دارد نیز از بین خواهد رفت.
خیلی از افرادی که از نزدیک با این حرفه در ارتباط‌‌اند نمی‌خواهند دردسر اعتراض‌کردن را به جان بخرند. یکی از کارمندان اخراجی گوگل به من گفت که، برای موفقیت در حوزۀ تکنولوژی، «باید دهانت را در برابر هر چیز آزاردهنده‌ای ببندی»، در غیر این صورت، دردسر محسوب می‌شوی. تقریباً همۀ زنان پیشکسوت در عرصۀ علوم کامپیوتر به دردسرسازبودن مشهورند. حالا وقتی می‌شنوم که «فلانی مایۀ دردسر است»، می‌گویم « عجب! منظورت این است که جزء زنان پیشکسوت محسوب می‌‌شود؟».
بِندِر نمی‌ترسد و به نظرش مسئولیت اخلاقی بر گردنش است. او به بعضی همکارانش که او را به‌دلیل مقاومتش تحسین می‌کردند گفت «حرفم این است که بالاخره وظیفۀ استادی چه می‌شود؟»
معروف‌ترین حیوان فرضی در رزومۀ بِندِر اختاپوس نیست. این عنوان متعلق است به طوطی الله‌بختکی.8
الله‌بختکی یعنی ۱) تصادفی و ۲) تعیین‌شده توسط توزیع‌های احتمالی و تصادفی. طوطی الله‌بختکی (بِندِر این واژه را ابداع کرده) موجودی است که، صرفاً بر مبنای اطلاعات احتمالاتی مربوط به نحوۀ ترکیب و هم‌نشینی صورت‌های زبانی، توالی‌هایی از این صورت‌های زبانی را به‌طور تصادفی به هم وصل می‌کند بدون اینکه درکی از معنای آن‌ها داشته باشد. در مارس ۲۰۲۱، بِندِر با همکاری سه نویسندۀ دیگر مقاله‌ای منتشر کرد تحت عنوان «درباب مخاطرات طوطی‌های الله‌بختکی: آیا مدل‌های زبانی می‌‌توانند بیش‌ از اندازه بزرگ باشند؟»9. پس از انتشار مقاله، دو تن از نویسندگان که هر دو زن بودند شغلشان را از دست دادند،
آن‌ها قائم‌مقام «تیم اخلاق هوش مصنوعی گوگل» بودند. مناقشات پیرامون این مقاله جایگاه بِندِر را به‌عنوان زبان‌شناسی که همیشه در برابر تبلیغات هوش مصنوعی می‌ایستد مستحکم کرد.
«درباب مخاطرات طوطی‌‌‌های الله‌بختکی» پژوهشی اصیل نیست، بلکه ترکیبی است از نقدهایی که بِندِر و سایرین به مدل‌های زبانی گسترده وارد کرده‌اند: درباب سوگیری‌هایی که در این مدل‌های زبانی کدبندی شده، دربارۀ تقریباً غیرممکن‌بودن بررسی محتویات داده‌های آموزشی، با توجه به اینکه این داده‌ها از میلیاردها واژه تشکیل شده‌اند؛ دربارۀ هزینه‌هایی که مدل‌های زبانی گسترده برای آب و هوا به بار می‌آورند؛ دربارۀ مشکلاتی که ساخت تکنولوژی ایجاد می‌‌کند و پویایی زبان را در طی زمان از بین می‌برد و لذا باعث تثبیت مشکلات قبلی می‌شود. گوگل در ابتدا مقاله را تأیید کرد. تأیید گوگل برای انتشار مقاله ضروری بود. سپس تأیید خود را پس گرفت و از نویسندگان دست‌اندرکارِ شاغل در گوگل خواست اسمشان را از مقاله خط بزنند. بعضی از نویسندگان این کار را کردند، اما تیمنیت گبرو، متخصص اخلاق‌ هوش مصنوعی گوگل، این کار را نکرد. همکارش مارگارت میچل ( دانشجوی سابق امیلی بِندِر) اسمش را در مقاله به اشمارگارت اشمیچل تغییر داد. به گفتۀ میچل، هدفش از این کار ثبت این اتفاق و نویسندگانی بود که اسمشان از مقاله حذف شده بود. گبرو در دسامبر ۲۰۲۰، و میچل در فوریۀ ۲۰۲۱ شغلشان را از دست دادند. هر دوی آن‌ها معتقد بودند که اخراجشان جنبۀ تلافی داشته و باعث شده ماجرای آن‌ها در نشریات مطرح شود. مقالۀ طوطی الله‌بختکی، دست کم در جامعۀ آکادمیک، به‌سرعت انتشار پیدا کرد. واژۀ طوطی الله‌بختکی وارد دایرۀ واژگان مربوط به تکنولوژی شد.
اما این کلمه آن‌طور که بِندِر می‌خواست به دایرۀ واژگان وارد نشد. مدیران اجرایی تکنولوژی از این کلمه خوششان آمد. برنامه‌نویسان با این کلمه ارتباط گرفتند. سم آلتمن، مدیرعامل اوپن‌ای‌آی، از بسیاری جهات، مخاطب واقعی این کلمه بود: او خودش را یک فوق‌عقل‌گرا می‌داند و آن‌چنان در فضای تکنولوژی غرق است که چشم‌اندازی از دنیای خارج ندارد. آلتمن در کنفرانس محرمانۀ انجل‌لیست، که در ماه نوامبر برگزار شده بود، گفت «به نظر من گسترش استراتژی نابودی حتمی طرفین هسته‌ای بنا به دلایلی کار اشتباهی بود». او همچنین به باور کذایی «تَکینگی» معتقد است، رؤیایی تکنولوژیک مبنی بر اینکه در آینده‌ای نزدیک تمایز بین انسان و ماشین از بین خواهد رفت.
آلتمن در سال ۲۰۱۷ دربارۀ ترکیب سایبورگ‌ها 10 نوشت: «چند سالی است که کار را شروع کرده‌ایم. احتمالاً خیلی زودتر از آنچه فکرش را بکنید اتفاق می‌افتد. سخت‌افزار روز به روز دارد پیشرفت می‌کند … تعداد افراد باهوشی هم که در حیطۀ هوش مصنوعی کار می‌کنند روز به روز دارد زیادتر می‌شود. این ترکیب به‌‌‌سرعت از شما جلو می‌زند».
۴ دسامبر ۲۰۲۲، چهار روز بعد از عرضۀ چت‌جی‌پی‌تی، آلتمن در توییتر نوشت: «من یک طوطی الله‌بختکی هستم. شما هم هستید».
چه لحظۀ هیجان‌انگیزی! طی ۵ روز اول، یک میلیون نفر در چت‌جی‌پی‌تی ثبت‌نام کردند. نوشتن دیگر تمام! دانش‌ورزی تمام! چه پیش ‌خواهد آمد؟ ماه گذشته، آلتمن در جلسه‌ای فوق‌محرمانه به شرکای خود در حوزۀ صنعت و اقتصاد گفت «درواقع، فکر می‌کنم چت‌جی‌پی‌تی در بهترین حالت آن‌قدر عالی است که حتی تصورش هم برایم مشکل است». در حالت وحشتناکش چطور؟ «در بدترین حالت -که فکر می‌کنم گفتنش مهم است- مثل زمان خاموشی برای همۀ ماست. من بیشتر نگران این هستم که، در کوتاه مدت، کسی تصادفاً از چت‌جی‌پی‌تی سوءاستفاده کند … منظورم این نیست که هوش مصنوعی خودبه‌خود تصمیم بگیرد شرور باشد». او توضیحی دربارۀ سوءاستفادۀ تصادفی نداد، اما این عبارت معمولاً دربارۀ کسی به کار می‌‌رود که از هوش مصنوعی برای مقاصد جامعه‌ستیزانه استفاده می‌کند -مثلاً گول‌زدن ما که شاید تکنولوژی به همین منظور طراحی شده. البته نه اینکه آلتمن بخواهد مسئولیت آن را بر عهده بگیرد؛ او فقط قبول کرد که «سوءاستفاده» ممکن است «خیلی بد» باشد.
توییت آلتمن دربارۀ طوطی الله‌بختکی به مذاق بِندِر خوش نیامد. ما طوطی نیستیم. ما کلمات را بر مبنای قواعد احتمالات به بیرون پرتاب نمی‌کنیم. به گفتۀ بِندِر، یکی از حرکاتی که به‌طرز احمقانه‌‌ای زیاد به چشم می‌خورد این است که مردم می‌گویند «آدم‌ها طوطی الله‌بختکی هستند». «مردم شدیداً تمایل دارند باور کنند که این مدل‌های زبانی واقعاً باهوش‌اند، آن‌قدر که هوشِ مدل‌‌های زبانی را با خودشان مقایسه می‌کنند و استانداردهای خودشان را از هوش پایین آورده و با مدل‌های زبانی تطبیق می‌دهند».
برخی افراد تمایل دارند اصول زبان‌شناختی را با آنچه تکنولوژی قادر به انجامش است تطبیق دهند.
در حال حاضر، کریستوفر مانینگ رقیب سرسخت بِندِر است، زبان‌شناس رایانشی‌ای که معتقد است لزومی ندارد زبان بر چیزی خارج از خودش دلالت کند. مانینگ استاد یادگیری ماشینی، زبان‌شناسی و علوم کامپیوتر در دانشگاه استنفورد است. جمعیت کلاس «پردازش زبان طبیعی» او از حدود ۴۰ نفر در سال ۲۰۰۰، به بیش از ۵۰۰ نفر در سال گذشته و ۶۵۰ نفر در ترم جاری رسیده است و باعث شده
این کلاس یکی از بزرگ‌ترین کلاس‌های دانشگاه باشد. به‌علاوه، او مدیریت «آزمایشگاه هوش مصنوعی استنفورد» را بر عهده دارد و یکی از شرکای «آی‌.ای. ‌ایکس ونچزر» است. این شرکت خودش را این‌طور معرفی می‌کند: بنگاه سرمایه‌گذاری خطرپذیر11 در مرحلۀ بذری 12که بر هوش مصنوعی متمرکز است. پوستۀ‌ نازکی که بین دانشگاه و صنعت وجود دارد در همه‌جا نفوذپذیر است، اما در استنفورد این پوسته عملاً وجود ندارد. این دانشگاه آن‌چنان با تکنولوژی در هم تنیده است که به‌سختی می‌توان مرز بین دانشگاه و کسب‌‌وکار را در آن مشخص کرد. در گفت‌وگویی که فوریۀ گذشته با مانینگ داشتم، او به من گفت «اینجا باید حواسم باشد که حد وسط را رعایت کنم». دانشگاه‌های برتر در حوزۀ علوم کامپیوتر و هوش مصنوعی «درنهایت رابطۀ تنگاتنگی با شرکت‌های بزرگ فناوری خواهند داشت».
بزرگ‌‌ترین اختلاف‌نظر بین بِندِر و مانینگ بر سر نحوۀ ساخته‌شدنِ معناست، و این خمیرمایۀ مقالۀ اختاپوس است. تا همین اواخر، فلاسفه و زبان‌شناسان با گفتۀ بِندِر موافق بودند، اینکه برای ساخت معنا به مصادیق احتیاج داریم؛ یعنی چیزهای واقعی و مفاهیم موجود مثل نارگیل و شکست عشقی. مثلاً فلان ‌چیز بر چیز دیگری دلالت می‌کند. از نظر مانینگ، این عقیده دیگر قدیمی شده و نوعی «دیدگاه رایج قرن‌بیستمی دربارۀ فلسفۀ زبان است».
مانینگ به من گفت «منظورم این نیست که این دیدگاه در زبان‌شناسی فاقد اعتبار است، بلکه دیدگاه محدودی است». او مدافع مفهوم جامع‌تری از معناست. مانینگ، در مقاله‌ای جدید، عبارت «معناشناسی توزیعی»13 را پیشنهاد کرد: «معنای یک کلمه صرفاً توصیفی است از بافتی که کلمه در آن به کار رفته است» (وقتی از او پرسیدم که معنا را چطور تعریف می‌کند، گفت «راستش را بخواهید، به نظرم سؤال سختی است»).
در صورتی که نظریۀ معناشناسی توزیعی را بپذیریم، مدل‌های زبانی گسترده مثل اختاپوس نیستند. طوطی‌های الله‌بختکی صرفاً کلمه‌ها را به‌طرزی احمقانه به بیرون پرتاب نمی‌کنند. لزومی ندارد که خود را اسیر این ذهنیت کهنه کنیم که «معنا فقط با وجود مدلول‌های جهان واقعی تحقق می‌یابد». مدل‌های زبانی گسترده میلیاردها واژه را پردازش می‌کنند. تکنولوژی در آستانۀ چیزی است که مانینگ آن را «تغییر فاز» می‌نامد. او می‌گوید «می‌دانید، انسان‌ها کار با فلز را کشف کردند که خیلی هم عالی بود. صدها سال گذشت. سپس انسان‌ها یاد گرفتند که چطور از نیروی بخار استفاده کنند. در بحث زبان، ما هم‌اکنون در مرحلۀ مشابهی هستیم. این‌ها که می‌گویم استدلال قاعده‌‌مندی پشتش نیست. چیزی است که ناگهان سروکله‌اش پیدا می‌شود و به ذهن آدم خطور می‌کند». مدل‌های زبانی گسترده آن‌قدر متحول‌کننده هستند که درک ما را از خود زبان تغییر دهند.
در ژوئیۀ سال ۲۰۲۲، گردانندگان همایشی بزرگ دربارۀ زبان‌شناسی رایانشی بِندِر و مانینگ را در میزگردی روبه‌روی هم نشاندند تا مخاطبان برخط بتوانند به دعوای (محترمانۀ) آن‌ها گوش دهند. آن دو نفر دور میزی با رومیزی مشکی نشستند. بِندِر ژاکت بنفش پوشیده بود و مانینگ پیراهن دکمه‌دار گلبهی. میکروفن را دست به دست می‌کردند. با گفتن «اول من!» و «با این حرف مخالفم!» نوبتی به پرسش‌ها و به همدیگر پاسخ می‌دادند. یک‌بند با هم دعوا می‌کردند. اول از همه دربارۀ اینکه کودکان چگونه زبان یاد می‌گیرند. بِندِر معتقد بود که کودکان زبان را ضمن ارتباط با مراقبانشان یاد می‌گیرند. مانینگ می‌گفت یادگیری امری است «تحت نظارت خود»، مثل مدل‌های گستردۀ زبانی. بعد از این، دعوا بر سر این بود که، در ارتباط به‌خودی‌خود، چه چیزی اهمیت دارد. بعد بِندِر، با استناد به ویتگنشتاین، زبان را فرایندی ذاتاً ارتباطی دانست که در آن «حداقل یک سخن‌گو و یک شنونده با توجه اشتراکی می‌کوشند تا دربارۀ آنچه منتقل می‌شود به توافق نسبی برسند». مانینگ حرف‌های بِندِر را به‌طور کامل نپذیرفت. البته قبول کرد که انسان‌ها با حالت چهره‌شان احساساتشان را بروز می‌دهند و با کارهایی نظیر تکان‌‌دادن سر با هم ارتباط برقرار می‌کنند. اما اطلاعاتی که از این طریق منتقل می‌شوند «حاشیه‌ای» هستند.
نزدیک به پایان جلسه، به عمیق‎‌ترین اختلاف‌نظرشان رسیدند که اصلاً ربطی به زبان‌شناسی ندارد. اختلاف‌نظر بر سر این بود که چرا چنین ماشین‌هایی می‌سازیم؟ این ماشین‌ها در خدمت چه کسانی هستند؟ مانینیگ با سرمایه‌گذاری در این استارت‌آپ، به معنای واقعی کلمه، روی این پروژه حساب باز کرده است. اما بِندِر سرمایه و سهم مالی در این پروژه ندارد.  بدون داشتن نفع مالی، راحت‌تر می‌توان توصیه کرد که قبل از ارائۀ محصول همۀ جوانب به‌آهستگی و به‌دقت سنجیده شوند. راحت‌تر می‌توان پرسید که این تکنولوژی چگونه قرار است بر مردم اثر بگذارد و در چه صورت این تأثیرات منفی خواهند بود. بِندِر می‌گوید «من حس می‌کنم تلاش بیش‌ازحدی برای ساختن ماشین‌های خودمختار صورت می‌گیرد، به‌جای اینکه ماشین‌هایی بسازیم که ابزار مفیدی در دست بشر باشند».
مانینگ علاقه‌ای به آهسته و محتاط گام‌برداشتن در مسیر توسعۀ تکنولوژی زبان ندارد و فکر هم نمی‌کند که چنین چیزی ممکن باشد. او همان استدلالی را مطرح می‌کند که افراد نوع‌دوست و آماده‌به‌خدمت را به حوزۀ هوش مصنوعی کشانده است: «اگر ما این کار را انجام ندهیم، افراد دیگری دست به کار خواهند شد که قیدوبندهای اخلاقی سرشان نمی‌شود».
این بدین معنا نیست که مانینگ به تلاش‌های شرکت‌های فناوری در جهت نظارت بر خودشان باور دارد. این‌طور نیست. می‌گوید «این شرکت‌ها دربارۀ اینکه چقدر مسئولیت‌پذیرند و چه اقداماتی در جهت رعایت اخلاق هوش مصنوعی انجام می‌دهند و … حرف‌‌‌هایی می‌زنند. اما درحقیقت این کارها نوعی سیاست است که تلاش کنند و بعد بگویند ما داریم کارهای خوبی می‌کنیم، پس لازم نیست قانونی تصویب شود». او طرفدار هرج‌ومرج نیست؛ «من طرفدار قانونم. فکر می‌کنم قانون تنها راه مؤثر برای محدودکردن رفتار انسان‌‌هاست». اما می‌داند که «اساساً امکان ندارد به این زودی‌ها نظارت مناسبی شکل بگیرد. درواقع، چین در زمینۀ نظارت از آمریکا جلوتر است».
این‌ها خبرهای خوبی نیستند. تکنولوژی دمکراسی را متزلزل می‌کند. چرا باید به تکنولوژی اعتماد کنیم؟ مانینگ بی‌مقدمه بحث سلاح‌های هسته‌ای را مطرح کرد: «اساساً، فرق این ماجرا با چیزی شبیه به فناوری هسته‌ای این است که فناوری هسته‌ای را می‌توان مهار کرد. چراکه افراد بسیار کمی علمش را دارند و زیرساخت‌های موردنیاز آن به اندازۀ کافی بزرگ هستند … فناوری هسته‌ای را به‌راحتی می‌توان مهار کرد. این موضوع حداقل تا به امروز دربارۀ فعالیت‌هایی مثل دست‌کاری ژنتیکی‌ هم جواب داده است». اما مانینگ توضیح داد که چنین چیزی دربارۀ تکنولوژی شدنی نیست: «فرض کنیم شما قصد دارید اخبار جعلی منتشر کنید. کافی است بهترین کارت گرافیک -واحد پردازش گرافیکی- مخصوص بازی را تهیه کنید که هر کدام حول‌وحوش ۱۰۰۰ دلار قیمت دارند. می‌توانید ۸ تای آن‌ها را به هم وصل کنید که می‌شود
۸۰۰۰ دلار. ۴۰۰۰ دلار هم برای خرید کامپیوتر مناسب این کار. به‌این‌ترتیب شما می‌توانید کار نتیجه‌بخشی انجام دهید. اگر چند نفر از دوستانتان را که به همین حد از تکنولوژی دسترسی دارند با خود همراه کنید، می‌توانید هر کاری که خواستید بکنید».
بِندِر، چند هفته بعد از میزگردی که با مانینگ داشت، پشت سکو ایستاد تا در کنفرانسی در تورنتو سخنرانی کند. پیراهنی موج‌دار به رنگ سبز پوشیده بود و گوشواره‌هایی به‌شکل اختاپوس به گوش کرده بود. عنوان سخنرانی این بود: «مقاومت در برابر انسانیت‌زدایی در عصر هوش مصنوعی». به‌نظر چندان افراطی نمی‌آید. بِندِر واژۀ گنگ انسانیت‌زدایی را این‌طور تعریف کرد: «حالتی که فرد قادر نیست دیگری را به‌‌عنوان انسانی کامل ببیند. یعنی تجربۀ اینکه با ما طوری برخورد شود که گویا طرف مقابل هیچ درکی از انسان‌بودن ما ندارد». سپس به‌طور مفصل دربارۀ ایرادهای استعارۀ رایانشی صحبت کرد که یکی از مهم‌ترین استعاره‌‌ها در همۀ علوم به شمار می‌رود: «این دیدگاه که مغز انسان یک کامپیوتر است و کامپیوتر همان مغز انسان». او با آوردن نقل قولی از مقالۀ ۲۰۲۱ الکسیس تی. باریا و کیث کراس گفت «این استعاره حق مطلب را دربارۀ پیچیدگی ذهن بشر ادا نمی‌کند و برای کامپیوترها بیشتر از آنچه باید، شعور قائل می‌‌شود».
در جلسۀ پرسش و پاسخی که بعد از سخنرانی بِندِر برگزار شد، یک آقای تاس که تیشرت یقه‌دار پوشیده بود و بندآویز دور گردنش داشت، به طرف میکروفون رفت و دغدغه‌های خود را مطرح کرد: «بله! می‌خواستم بپرسم چرا شما انسانی‌سازی و این ویژگی انسان، این دسته‌ از انسان‌ها، را به عنوان چارچوبی برای مفاهیم مختلفی که یکجا جمع کرده‌‌اید، انتخاب کردید؟». به نظر این مرد، انسان‌ها آن‌قدر هم خاص نبودند؛ «وقتی داشتم به سخنرانی شما گوش می‌کردم، این فکر دست از سرم برنمی‌داشت. انسان‌هایی وجود دارند که واقعاً وحشتناک‌اند و در زمرۀ آن‌ها قرارگرفتن چندان جالب نیست. همۀ ما از یک گونه هستیم و از لحاظ ژنتیکی به هم شبیهیم. اما این مسئله مهم نیست. سگ من فوق‌العاده است. من راضی‌ام که با او در یک گروه قرار بگیرم».
او بین انسان به معنای مقوله‌ای زیست‌شناختی و انسان به معنای فرد یا واحدی که سزاوار احترام اخلاقی است تمایز قائل بود و تصدیق کرد که مدل‌های زبانی گسترده انسان نیستند، البته هنوز. اما می‌دانیم که تکنولوژی به‌سرعت در حال پیشرفت است. مرد تاس در پایان صحبتش گفت «خواستم کمی بیشتر دربارۀ این موضوع بدانم که چرا انسان، انسانیت و انسان‌بودن را به‌عنوان چارچوبی برای پرداختن به این موضوعات یا، بهتر بگویم، تعداد زیادی از موضوعات مختلف انتخاب کرده‌اید؟ ممنونم!».
بِندِر، همان‌طور که سرش را کج کرده بود و لب‌‌هایش را می‌جوید، به این صحبت‌ها گوش داد. چه می‌توانست بگوید؟ او استدلالش را با ابتدایی‌ترین اصول شروع کرد: «فکر می‌کنم هر انسانی به‌موجب انسان‌بودن سزاوار نوعی احترام اخلاقی است. در دنیای امروز، بسیاری از مشکلات به‌دلیل بی‌توجهی به انسانیت انسان‌ها پیش می‌‌آیند».
مرد حرف‌های بِندِر را نپذیرفت. در ادامه گفت «می‌شود چیزی بگویم؟ خیلی کوتاه! شاید تمام انسان‌‌ها شایستۀ حد مشخصی از احترام باشند. اما من فکر می‌کنم انسان‌بودن (گونۀ انسان) دلیل این شایستگی نیست».
بسیاری از افراد خارج از حیطۀ تکنولوژی همین عقیده را دارند. بوم‌شناسان و مدافعان فردیت‌ حیوانات معتقدند که ما باید از این عقیده دست برداریم که گونۀ مهمی هستیم. باید تواضع بیشتری به خرج دهیم. باید قبول کنیم که ما موجوداتی هستیم بین سایر موجودات؛ ماده‌ای در میان سایر مواد. درختان، رودخانه‌ها، وال‌ها، اتم‌ها، مواد معدنی، ستارگان. همۀ این‌ها مهم‌اند. ما ارباب این دنیا نیستیم.
اما مسیری که از مدل‌های زبانی به بحران وجودی منتهی می‌‌شود واقعاً کوتاه است. جوزف ویزنیام که در سال ۱۹۶۶ نخستین چت‌بات، یعنی الیزا، را ساخت مابقی عمرش در پشیمانی از این کار گذشت. ۱۰ سال بعد، در کتاب قدرت کامپیوتر و خرد انسانی 14 نوشت «تکنولو‌ژی سؤال‌های بسیار مهمی دربارۀ جایگاه انسان در این دنیا پیش می‌آورد». ۴۷ سال قبل، او معتقد بود که وسایل سرگرمی مفرح، جذاب و اعتیادآورند، ضمن اینکه موجب انحطاط ما خواهند شد. تعجبی ندارد که افرادی که دائماً با ماشین‌ها سروکار دارند و خود را بردۀ ماشین‌ها می‌‌دانند، کم‌کم باورشان بشود که انسان‌‌ها ماشین‌اند».
طنین بحران اقلیمی بی‌تردید به گوش می‌‌رسد. ما، دهه‌ها پیش از این، از مخاطرات آن آگاه بودیم، اما به تحریک سرمایه‌داری و با میل اقلیتِ صاحب‌‌قدرت، بدون توجه به این خطرات به کارمان ادامه دادیم. کیست که دلش نخواهد برای تعطیلات به سرعتِ برق به پاریس یا هانالی سفر کند؟ علی‌الخصوص وقتی بهترین تیم‌های روابط عمومی دنیا بگویند که این بهترین موقعیت زندگی‌تان است. ویزنیام نوشت «چرا خدمه‌ای که ما را تا اینجا آورده‌اند خوشحالی می‌کنند؟ چرا مسافرها دست از بازی نمی‌کشند؟»
ساخت تکنولوژی مقلد انسان مستلزم این است که ما درک دقیقی از کیستی خودمان داشته باشیم.
جوانا بریسون، استاد اخلاق و تکنولوژی در مدرسۀ  حکمرانی هرتی در برلین، سال گذشته چنین نوشت: «از حالا به بعد، استفادۀ ایمن از هوش مصنوعی مستلزم ابهام‌زدایی از وضع بشر است. برای ما روشن است که اگر قدمان بلندتر شود، شبیه زرافه‌ها نخواهیم شد. پس چرا باید دربارۀ هوش در ابهام بمانیم؟».
بقیه، مثل دنت فیلسوف ذهن، حتی از این هم صریح‌ترند. ما نمی‌توانیم در دنیایی با «افراد جعلی» زندگی کنیم. «از وقتی پول وجود داشته، جعل پول نوعی خراب‌کاری اجتماعی قلمداد می‌شد. مجازات این کار اعدام، درآوردن احشاء و شقه‌شقه‌کردن بود. بحث افراد جعلی هم دست‌کم به همین اندازه جدی است».
افراد مصنوعی همیشه چیز کمتری برای ازدست‌دادن دارند و این امر باعث می‌شود آن‌‌ها کنشگرانی بدون احساس مسئولیت باشند. به گفتۀ دنت «افراد مصنوعی به‌نوعی جاودانه هستند، نه به دلایل روحانی و متافیزیکی، بلکه به دلایلی کاملاً فیزیکی و زمینی».
ما باید تعهدات سفت‌‌وسختی برای سازندگان تکنولوژی در نظر بگیریم. دنت می‌گوید «آن‌ها باید پاسخ‌گو باشند. باید از آن‌ها شکایت کرد. باید عملکردشان ثبت شود تا اگر آنچه ساخته‌اند برای ساخت افراد جعلی به کار گرفته شود، بتوان آن‌ها را مسئول دانست. آن‌ها در یک قدمیِ ساخت سلاح‌هايی خطرناک با هدف تخریب ثبات و امنیت جامعه هستند، البته اگر تا الان این کار را نکرده باشند. باید این موضوع را جدی بگیرند، همان‌طور که زیست‌شناسان مولکولی احتمال وقوع جنگ بیولوژیک را جدی گرفته‌اند و فیزیک‌دانان اتمی وقوع جنگ هسته‌ای را.
ما باید نگرش‌هایی جدید ایجاد و قوانینی نو وضع کنیم و آن‌ها را سریع اشاعه دهیم و از اعتباربخشیدن به فریب مردم، انسان‌انگاری، دست برداریم. ما ماشین هوشمند می‌خواهیم نه همکار مصنوعی».
بِندِر برای خودش یک قانون وضع کرده است: «من با کسانی که انسان‌بودنم را به عنوان یک اصل بدیهی در گفت‌‌وگو قبول ندارند حرفی ندارم». کمرنگ‌کردن مرزها ممنوع!
فکر نمی‌کردم لازم باشد من هم برای خودم چنین قانونی وضع کنم. بعد از آن با بلیک لیموین برای صرف چای دیدار کردم. او سومین پژوهشگر اخراجی هوش مصنوعی گوگل بود که سال گذشته از کار برکنار شد. دلیل برکناری‌اش این بود که مدعی شد لا‌ام‌دی‌ای، مدل زبانی گستردۀ گوگل، دارای قدرت ادراک است.
چند دقیقه بعد از شروع گفت‌وگو، به یادم آورد که در زمانی نه‌چندان دور من یک فرد کامل در نظر گرفته نمی‌‌شدم. او گفت «همین ۵۰ سال قبل، شما نمی‌‌توانستید بدون امضای شوهرتان حساب بانکی باز کنید». بعد یک سناریوی خیالی را مطرح کرد: «فرض کنیم شما یک ‘عروسک ‌واقعی’ دارید در قد و قوارۀ انسان و با هیکل کری فیشر» (عروسک واقعی به‌نوعی عروسک جنسی است) «به‌‌لحاظ تکنولوژیکی، افزودن چت‌بات به این عروسک کاری ندارد؛ کافی‌ است چت‌بات را داخل عروسک بگذاریم».
لیموین مکثی کرد و، از روی ادب، گفت «ببخشید اگرمعذب می‌شوید».
من گفتم اشکالی ندارد.
گفت «اگر عروسک نه بگوید چه؟ تجاوز محسوب می‌شود؟».
گفتم «فرض کنیم تجاوز محسوب نشود و شما هم به این کار ادمه می‌دهید، آن وقت چه؟».
لیموین گفت «نکتۀ مهمی را متوجه شدید. چه این چیزها آدم باشند چه نباشند، تفاوت‌ها قابل تشخیص نیستند. اتفاقاً به نظر من این عروسک‌ها آدم هستند. اما فکر نمی‌کنم بتوانم کسانی را که مثل من فکر نمی‌کنند قانع کنم. بنابراین ما عادت می‌کنیم که با چیزهایی که شبیه انسان‌اند طوری رفتار کنیم که انگار نیستند».
تفاوت‌ها قابل تشخیص نیستند.
منظور بِندِر همین است: «ما یاد نگرفته‌ایم بین ماشین و ذهن انسان تمایز قائل شویم».
علاوه‌براین، برخی جنبش‌های حاشیه‌ای هم وجود دارند، مثل جنبش حقوق ربات‌ها به رهبری دیوید گانکل، استاد فناوری ارتباطات. در سال ۲۰۱۷، گانکل با انتشار عکسی از خودش انگشت‌نما شد. در آن عکس، عینک آفتابی «وی‌فرر» زده بود و بی‌شباهت به پلیس‌ها نبود. یک پلاکارد در دست داشت که رویش نوشته بود: «حقوق ربات‌ها، همین حالا». در سال ۲۰۱۸، انتشارات ام‌آی‌تی  کتاب حقوق ربات 15 او را منتشر کرد.
چرا با هوش مصنوعی مثل دارایی برخورد نکنیم و اوپن‌ای‌آی، گوگل و هر کسی را که از این ابزار سود می‎‌برد مسئول تأثیر آن بر جامعه ندانیم؟ گانکل به من گفت «اگر هوش مصنوعی را دارایی محسوب کنیم، وارد مبحث جذابی به اسم برده‌داری خواهیم شد. در زمان امپراتوری روم، برده‌ها تا حدودی اشخاص حقوقی و تا حدودی دارایی به حساب می‌آمدند. به بیان دقیق‌تر، برده‌ها دارایی اربابانشان بودند، مگر اینکه معاملات تجاری انجام می‌دادند. در این صورت اشخاص حقوقی محسوب می‌شدند و مسئولیتی متوجه صاحبانشان نبود». او اضافه کرد: «همین حالا، برخی حقوق‌دانان معتقدند دارایی‌شمردن هوش مصنوعی شبیه این است که قوانین برده‌داری روم را دربارۀ ربات‌ها و هوش مصنوعی به کار ببریم».
یک فرد منطقی می‌گوید «دنیا پر از دیوانه‌های بی‌آزار است. بی‌خیال، لازم نیست نگران چیزی باشی». شنبه شبی به منزل یکی از دوستانم، که از کارکشته‌های صنایع تکنولوژیک است، به صرف سالاد ماهی دعوت شده بودم. من روبه‌روی دخترم و در کنار همسر باردار او نشسته بودم. با او دربارۀ آقای تاسِ داخل همایش صحبت کردم، همانی که بِندِر را به چالش کشیده بود دربارۀ اینکه آیا لازم است همۀ انسان‌ها به یک اندازه سزاوار مراعات اخلاقی باشند. گفت «اتفاقا هفتۀ پیش در یک مهمانی در کول ویل دربارۀ همین موضوع بحث می‌کردیم!». قبل از صرف شام، باافتخار دست کودک نوپایش را گرفت و به طرف حمام برد. دلش برای شکم لایه‌لایه و خندۀ همراه با سکسکه‌اش غنج می‌رفت. حالا داشت می‌گفت اگر ماشینی بسازیم که تعداد گیرنده‌هایش با گیرنده‌های مغز انسان برابر باشد، احتمالاً نتیجه‌اش یک انسان خواهد شد، یا حداقل شبیه انسان. مگر نه؟ مگر چه چیزی کم دارد؟
انسان‌بودن سخت است. آدم عزیزانش را از دست می‌دهد. رنج می‌کشد و حسرت می‌خورد. ازکارافتاده می‌شود. دلش چیزها -و آدم‌هایی- را می‌خواهد که کنترلی بر رویشان ندارد.
بِندِر می‌داند که حریف یک برگ برندۀ تریلیون‌دلاری که بر زندگی انسان‌ها خیمه زده نخواهد شد. اما تلاشش را می‌کند. دیگران هم تلاش می‌کنند. مدل‌های زبانی گسترده ابزارهایی هستند که افراد خاصی آن‌ها را ساخته‌اند -کسانی که درصدد انباشتن ثروت‌های کلان و قدرت‌اند، کسانی که شیفتۀ ایدۀ تکنیگی هستند. این پروژه تهدیدی است
برای درکی که ما از گونۀ انسان داریم. در این پروژه، فروتنی اهمیتی ندارد. همۀ انسان‌ها اهمیتی ندارند. تبدیل‌شدن به موجودی فروتن در میان سایر موجودات هم اهمیتی ندارد. بیایید روراست باشیم؛ آنچه اهمیت دارد این است که برخی از ما به ابرگونه تبدیل شویم. وقتی این باور را از دست بدهیم که همۀ انسان‌ها به یک اندازه ارزشمندند، آیندۀ تاریکی در انتظار ما خواهد بود.
جودیث باتلر، مدیر و مؤسس رشتۀ نظریۀ انتقادی در دانشگاه برکلی کالیفرنیا، به من کمک کرد تا این مطالب را بهتر تجزیه و تحلیل کنم. او به من گفت «ما می‌‌خواهیم ثابت کنیم که همۀ کارهایی را که گمان می‌کردیم مختص انسان است ماشین‌ها هم می‌توانند انجام دهند، و بهتر هم انجام دهند. یا اینکه قابلیت‌های بشر (تصوری فاشیستی از انسانیت) با وجود هوش مصنوعی بهتر به فعل می‌رسد تا بدون آن. در این رؤیای هوش مصنوعی، یک‌جور خودشیفتگی وجود دارد. رؤیای هوش مصنوعی متأثر از نظریۀ کمال‌پذیری 16 انسان است که در آن برداشتی فاشیستی از انسان را می‌بینیم». تکنولوژی همه‌‌چیز را تصرف می‌کند و بدن انسان را به حاشیه می‌راند. بعضی‌ها می‌گویند «عالی نیست؟ جالب نیست؟ بیایید از ایده‌های رمانتیک و ایدئال‌گرایانه راجع به انسان دست برداریم»، و خلاصه اینکه این عقیده‌ها را رد می‌کنند. ولی این سؤال بی‌جواب می‌ماند که چه چیزی در سخنان من، در عشق و احساسات من و در زبان من زنده و انسانی است.
فردای آن روزی که بِندِر دربارۀ مبانی زبان‌شناسی با من صحبت کرد، در جلسه‌ای که هر هفته با دانشجویانش برگزار می‌کند حضور یافتم. همۀ آن‌ها دانشجویان رشتۀ زبان‌شناسی رایانشی‌اند و می‌دانند چه چیزهایی در این حوزه اتفاق می‌افتد. در این حوزه، پتانسیل‌ها و توانایی‌های زیادی وجود دارد. از آن‌ها چه استفاده‌ای قرار است بکنیم؟ الیزابت کانرد، که بعد از دو سال تحصیل در دورۀ پردازش زبان طبیعی در سبک ضدِ حرف‌مفتِ بِندِر استاد شده، گفت «مهم این است که ابزاری بسازیم که ارتباط با آن راحت باشد. چون مدل‌های زبانی برای استفاده‌ هستند. نه اینکه تلاش کنیم این ابزار هرچه‌‌بیشتر شبیه انسان شوند. چرا به مردم این‌‌طور القا می‌شود که گم‌کردن گوشی موبایل ناراحت‌کننده است؟».
کمرنگ‌کردن مرزها خطرناک است. جامعه‌ای که در آن افراد مصنوعی با افراد واقعی مو نمی‌زنند طولی نخواهد کشید که دیگر جامعه نخواهد بود. به نظرم اشکالی ندارد اگر دلتان می‌خواهد یک عروسک جنسی شبیه کری فیشر بخرید و یک مدل زبانی گسترده هم نصب کنید، «این را بگذارید داخل آن یکی»، و به فانتزی تجاوز خود جامۀ عمل بپوشانید. اما نمی‌شود هم‌زمان رؤسایمان بگویند: «من یک طوطی الله‌بختکی هستم، شما هم هستید». نمی‌شود برخی از افراد بخواهند «انسان را به‌منزلۀ طبقه‌ای زیستی از فرد یا واحدی که سزاوار احترام اخلاقی است» دسته‌بندی کنند. زیرا در این صورت دنیایی خواهیم داشت که در آن مردان بالغ، همان‌طور که چایشان را می‌نوشند، دربارۀ تجاوز به عروسک‌های جنسی سخن‌گو سناریوهای تخیلی می‌سازند و خیال می‌کنند شما هم مثل خودشان هستید.

پاورقی:
1. Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data
2. Natural Language Understanding
3. PricewaterhouseCoopers
4. شرکت پرایس‌واترهاوس‌کوپرز اعلام کرده که هوش مصنوعی در سال ۲۰۳۰ می‌تواند حدود۱۵.۷ تریلیون دلار به اقتصاد جهانی اضافه کند [مترجم].
5. Artificial Unintelligence: How Computers Misunderstand the World
6. «نظریۀ ادب» یا politeness theory در زبان‌شناسی نحوۀ استفاده از زبان و عوامل مختلفی را که در تعاملات اجتماعی و ارتباطات بین افراد نقش دارند بررسی می‌‌کند [مترجم].
7. اصطلاح «کارگر سایه» به کسانی گفته می‌شود که بدون قرارداد کاری و پوشش بیمه و در ازای دریافت مبلغی ناچیز کار می‌کنند [مترجم].
8. Stochastic Parrot
9. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
10. سایبورگ موجودی است مرکب از انسان و ربات [مترجم].
11. «سرمایه‌گذاری خطرپذیر» به سرمایه‌گذاری در پروژه‌هایی با ریسک بالا گفته می‌شود [مترجم].
12. در حوزۀ سرمایه‌گذاری استارتاپ، «مرحلۀ بذری» مرحله‌ای است که شرکت در حال شکل گیری است و نیاز به سرمایه‌گذاری دارد. معمولاً سرمایه‌گذاران خطرپذیر برای پشتیبانی از این شرکت‌ها سرمایه‌گذاری می‌کنند [مترجم].
13. Distributional linguistics
14. Computer Power and Human Reason
15. Robot Rights
16. «نظریۀ کمال‌پذیری» (Perfectibility) به این باور اشاره دارد که همۀ انسان‌ها پتانسیل پیشرفت را دارند و در صورت تلاش فراوان، به موفقیت‌های چشمگیری خواهند رسید [مترجم].