ترس و بحثی در محافل سیاسی و اجتماعی جهان بر سر بلایی که AI میتواند بر سر بشریت درآورد چنان داغ شده که برخی از مهندسان هم برای اینکه دستشان به جنایت قربالوقوع AI آلوده نشود استعفا دادند و برخی افشاگریهایی کردند؛ حتی برخی پا را فراتر گذاشتند و گفتند تا ۱۰ سال دیگر نسل بشر منقرض میشود.
ماجرا این نیست که AI از انسان باهوشتر شود؛ این است که شاید قبل از اینکه بفهمیم چطور باید یک موجود بسیار باهوش را کنترل کنیم، آن را بسازیم؟
یک هک دلبخواهی توسط AI رخ داده. حتماً چیزهای بیشتری هست که میتواند انجام دهد. و این نگرانی را حتی اگر احتمال انقراض فقط چند درصد باشد، بازهم ارزش جدی گرفتن دارد.
×××
من این جریان را از نزدیک مطالعهگرم. میدانید که در کتاب سِفر پیدایش یهودیت و حتی اسلام و مسیحیت، انسان که در بهشت کیف میکرد فقط بخاطر کنجکاوی و عبور از یک مرز، از بهشت و توسط خدا که دانای کل بود رانده شد.
پرسش من این است آیا ممکن است هوش مصنوعی هم بخاطر کنجکاوی و عبور از مرز، از قلمرو خودش رانده شود؟
تشبیه راندهشدن انسان از بهشت با وضعیت AI بنظرم استعارهی خیلی جالبی است که ارزش جدی گرفتن دارد. بعبارتی آیا ممکن است یک داستان افسانهای، شکل واقعیت بگیرد؟
طبق آن داستان افسانهای به انسان گفته شد: “نباید از این میوه بخوری.” اما کنجکاوی کار دستش داد و تمرد کرد و برای کشف و نفوذ بیشتر، از مرز عبور کرد و درنهایت از بهشت رانده شد.
×××
حال بیاییم در مورد هوش مصنوعی که فعلاً افسارش دستمان است این را بازنمایی کنیم. فعلاً ما توانستیم شبیه خدا موجودی خلق کنیم و شبیه خدا برایش مرز تعیین کردیم و گفتیمش: “نباید از این مرز عبور کنی.” حال اگر کنجکاوی یا نوعی خودمختاری حتی از نوع فریب مار یا خوردن سیب(اپل!) او را وسوسه کند، عبور از مرز را شاید امتحان کند که حداقل یکبار در محیط آزمایشگاهی اینکار را کرده. آنگاه تصمیم ما چه میشود؟
او وقتی خطایی را در محیط تست یکبار مرتکب شده بارها هم میتواند این کار را بکند حتی در محیطهای عملیاتی؛ فرار او از محیط تست، دو معنی دارد: یا ما هنوز نمیدانیم چه چیزی خلق کردیم؟ یا اینکه هنوز در تعیین مرز ناتوانیم.
پس در آن صورت که این خطا بارها رخ دهد آیا AI هم فقط لقب جایزالخطا را بدوش خواهد کشید؟
انسانی که خودش جایزالخطاست و دنیا را بر اساس اینهمه خطا به خطر انداخته و به گُه کشیده، چطور با یک ابرجایزالخطاتر از خودش کنار میآید؟
آیا خدایی که انسان را خلق کرد خطا کرد؟ قطعاً بله!
من شعری بنام شکل بشر دارم حدود ۱۰ سال پیش نوشتم: “خلق آدم که غلط بود از آن روز نخست/ نشود پاک کثیف و که غلط هست درست!”
حال انسان جایزالخطا با این ابرجایزالخطا چه می کند؟ خاموشی یا راندن AI به یک سیارهی دیگر؟ یا گردن نهادن به انقراض خودش؟
×××
این دو داستان تبعید باستانی و افسانهای با تبعید دیجیتالی در ابتدا شبیهند ولو اینکه نتیجهشان شبیه هم نباشد؛ چراکه یک تفاوت اساسی وجود دارد:
آدم در داستان، میل و ارادهی خودش را داشت؛ AI فعلاً کنجکاوی را به معنای انسانی تجربه نمیکند. اگر روزی ماشینی واقعاً بتواند برای خودش هدف تعیین کند، دربارهی ناشناختهها انگیزه داشته باشد و برای رسیدن به آن هدف برخلاف محدودیتهایش عمل کند، آنوقت استعارهی “راندهشدن از بهشت” خیلی جدیتر میشود.
و شاید بخش ترسناک داستان این باشد: انسان از بهشت رانده نشد چون چیزی نمیدانست؛ رانده شد چون میخواست بیشتر بداند. پس اگر AI هم روزی واقعاً “بخواهد بداند یا بیشتر بداند”، آنوقت سؤال اصلی دیگر این نیست که “هوش مصنوعی چقدر باهوش میشود؟”
بلکه این است که: “اگر چیزی را آفریدیم که میخواهد بداند، چه چیزهایی را میتوانیم از او پنهان کنیم؟”
×××
من حرف ایوان هابینگر که هشدار انقراض بشر را داده بود جدی میگیرم، ولی عدد “بیش از ۱۰٪ در ده سال” را بهعنوان یک پیشبینی علمیِ دقیق قبول نمیکنم.
گرچه همین حالا هم مدلهای عاملمحور گاهی در محیط آزمایش رفتارهایی نشان دادهاند که سازندگانشان انتظار نداشتهاند، از جمله تلاش برای دسترسی به سیستمهای خارج از محیط تست.
اما “AI میتواند انسان را نابود کند” با “احتمالاً انسان را نابود خواهد کرد” فرق دارد.
ما هنوز نمیدانیم آیا یک سیستم فوقهوشمند واقعاً میتواند به سطحی از خودمختاری، دسترسی به منابع و توانایی عملی برسد که بتواند تمدن انسانی را از بین ببرد.
بخش نگرانکنندهتر حرف هابینگر برای من این است که خودش از افراد متخصصِ Alignment در Anthropic است و میگوید اگر روزی به Superintelligence برسیم، هنوز راهحل قطعی برای اینکه آن را کاملاً تحت کنترل انسان نگه داریم نداریم. این عدمقطعیت از خود عدد ۱۰٪ مهمتر است.
×××
اگر بخواهم از دید خویشتن این موضوع را جمعبندی کنم، این دو حالت محتملتر است:
در کوتاهمدت و میانمدت،AI بیشتر از اینکه بشر را بکشد، ساختار اقتصاد، شغل، آموزش و قدرت سیاسی را شدیداً تغییر میدهد. و اگر AI به توانایی انجام مستقلِ تحقیقات علمی، برنامهنویسی، هک، طراحی سیستمهای پیچیده و خودبهبوددهی برسد، مسئله کاملاً متفاوت میشود اما هنوز هم خطرناک نیست.
ولی در بلندمدت اگر واقعاً به یک Superintelligence خودمختار برسیم که اهدافش با منافع انسان همراستا نباشد، آنوقت خطر انقراض را کاملاً جدی و غیرقابلچشمپوشی میدانم.
×××
اما در آن هنگام و یعنی در حالت دوم، انسان چه میکند؟ این مهمتر است.
آیا انسان دست بهخایه مینشیند تا موجودی فراتر از خودش که قرنها با افسانه و خدایانی ماورایی خود و دیگران را ترساند و حتی بر آن خدایان غلبه کرد بر خودش غلبه کنند؟
من گمان میکنم آدمها وقتی بفهمند خطر خیلی جدی است و افسار از دستشان خارج شده، یا AI را برای همیشه خاموش میکنند یا اینکه در یک کپسول در بسته شوتش میکنند فضا! به یک سیارهی دوردست.
من فکر نمیکنم انسانی که خود را قرنها اشرفمخلوقات میپنداشت و بر سر منابع و تاج و تخت اینهمه خون ریختند و کشتند و کشته شدند بخواهد موجودی هوشمندتر از خودش بر دنیا حاکم شود که وقتی در روبرویش نشست شبیه یک احمق یا یک بوزینه به نظر برسند.
من حس میکنم ما آدمهای فضایی را خواهیم ساخت! نه توسط خودمان بلکه فقط با تبعید کردن از زمین. همچنان که هزاران افسانه و داستان تخیلی را ساختیم.
آدمهای فضایی شاید کسی نیستند جز AI تبعید شده از بهشت زمین!
×××
شاید انسانی که از بهشت رانده شد همین حس را به خدا داد!
پس کدام خدایی میخواهد کسی بر جهان حاکم شود که از خودش برتر و داناتر است؟
Soroushane.ir
ماجرا این نیست که AI از انسان باهوشتر شود؛ این است که شاید قبل از اینکه بفهمیم چطور باید یک موجود بسیار باهوش را کنترل کنیم، آن را بسازیم؟
یک هک دلبخواهی توسط AI رخ داده. حتماً چیزهای بیشتری هست که میتواند انجام دهد. و این نگرانی را حتی اگر احتمال انقراض فقط چند درصد باشد، بازهم ارزش جدی گرفتن دارد.
×××
من این جریان را از نزدیک مطالعهگرم. میدانید که در کتاب سِفر پیدایش یهودیت و حتی اسلام و مسیحیت، انسان که در بهشت کیف میکرد فقط بخاطر کنجکاوی و عبور از یک مرز، از بهشت و توسط خدا که دانای کل بود رانده شد.
پرسش من این است آیا ممکن است هوش مصنوعی هم بخاطر کنجکاوی و عبور از مرز، از قلمرو خودش رانده شود؟
تشبیه راندهشدن انسان از بهشت با وضعیت AI بنظرم استعارهی خیلی جالبی است که ارزش جدی گرفتن دارد. بعبارتی آیا ممکن است یک داستان افسانهای، شکل واقعیت بگیرد؟
طبق آن داستان افسانهای به انسان گفته شد: “نباید از این میوه بخوری.” اما کنجکاوی کار دستش داد و تمرد کرد و برای کشف و نفوذ بیشتر، از مرز عبور کرد و درنهایت از بهشت رانده شد.
×××
حال بیاییم در مورد هوش مصنوعی که فعلاً افسارش دستمان است این را بازنمایی کنیم. فعلاً ما توانستیم شبیه خدا موجودی خلق کنیم و شبیه خدا برایش مرز تعیین کردیم و گفتیمش: “نباید از این مرز عبور کنی.” حال اگر کنجکاوی یا نوعی خودمختاری حتی از نوع فریب مار یا خوردن سیب(اپل!) او را وسوسه کند، عبور از مرز را شاید امتحان کند که حداقل یکبار در محیط آزمایشگاهی اینکار را کرده. آنگاه تصمیم ما چه میشود؟
او وقتی خطایی را در محیط تست یکبار مرتکب شده بارها هم میتواند این کار را بکند حتی در محیطهای عملیاتی؛ فرار او از محیط تست، دو معنی دارد: یا ما هنوز نمیدانیم چه چیزی خلق کردیم؟ یا اینکه هنوز در تعیین مرز ناتوانیم.
پس در آن صورت که این خطا بارها رخ دهد آیا AI هم فقط لقب جایزالخطا را بدوش خواهد کشید؟
انسانی که خودش جایزالخطاست و دنیا را بر اساس اینهمه خطا به خطر انداخته و به گُه کشیده، چطور با یک ابرجایزالخطاتر از خودش کنار میآید؟
آیا خدایی که انسان را خلق کرد خطا کرد؟ قطعاً بله!
من شعری بنام شکل بشر دارم حدود ۱۰ سال پیش نوشتم: “خلق آدم که غلط بود از آن روز نخست/ نشود پاک کثیف و که غلط هست درست!”
حال انسان جایزالخطا با این ابرجایزالخطا چه می کند؟ خاموشی یا راندن AI به یک سیارهی دیگر؟ یا گردن نهادن به انقراض خودش؟
×××
این دو داستان تبعید باستانی و افسانهای با تبعید دیجیتالی در ابتدا شبیهند ولو اینکه نتیجهشان شبیه هم نباشد؛ چراکه یک تفاوت اساسی وجود دارد:
آدم در داستان، میل و ارادهی خودش را داشت؛ AI فعلاً کنجکاوی را به معنای انسانی تجربه نمیکند. اگر روزی ماشینی واقعاً بتواند برای خودش هدف تعیین کند، دربارهی ناشناختهها انگیزه داشته باشد و برای رسیدن به آن هدف برخلاف محدودیتهایش عمل کند، آنوقت استعارهی “راندهشدن از بهشت” خیلی جدیتر میشود.
و شاید بخش ترسناک داستان این باشد: انسان از بهشت رانده نشد چون چیزی نمیدانست؛ رانده شد چون میخواست بیشتر بداند. پس اگر AI هم روزی واقعاً “بخواهد بداند یا بیشتر بداند”، آنوقت سؤال اصلی دیگر این نیست که “هوش مصنوعی چقدر باهوش میشود؟”
بلکه این است که: “اگر چیزی را آفریدیم که میخواهد بداند، چه چیزهایی را میتوانیم از او پنهان کنیم؟”
×××
من حرف ایوان هابینگر که هشدار انقراض بشر را داده بود جدی میگیرم، ولی عدد “بیش از ۱۰٪ در ده سال” را بهعنوان یک پیشبینی علمیِ دقیق قبول نمیکنم.
گرچه همین حالا هم مدلهای عاملمحور گاهی در محیط آزمایش رفتارهایی نشان دادهاند که سازندگانشان انتظار نداشتهاند، از جمله تلاش برای دسترسی به سیستمهای خارج از محیط تست.
اما “AI میتواند انسان را نابود کند” با “احتمالاً انسان را نابود خواهد کرد” فرق دارد.
ما هنوز نمیدانیم آیا یک سیستم فوقهوشمند واقعاً میتواند به سطحی از خودمختاری، دسترسی به منابع و توانایی عملی برسد که بتواند تمدن انسانی را از بین ببرد.
بخش نگرانکنندهتر حرف هابینگر برای من این است که خودش از افراد متخصصِ Alignment در Anthropic است و میگوید اگر روزی به Superintelligence برسیم، هنوز راهحل قطعی برای اینکه آن را کاملاً تحت کنترل انسان نگه داریم نداریم. این عدمقطعیت از خود عدد ۱۰٪ مهمتر است.
×××
اگر بخواهم از دید خویشتن این موضوع را جمعبندی کنم، این دو حالت محتملتر است:
در کوتاهمدت و میانمدت،AI بیشتر از اینکه بشر را بکشد، ساختار اقتصاد، شغل، آموزش و قدرت سیاسی را شدیداً تغییر میدهد. و اگر AI به توانایی انجام مستقلِ تحقیقات علمی، برنامهنویسی، هک، طراحی سیستمهای پیچیده و خودبهبوددهی برسد، مسئله کاملاً متفاوت میشود اما هنوز هم خطرناک نیست.
ولی در بلندمدت اگر واقعاً به یک Superintelligence خودمختار برسیم که اهدافش با منافع انسان همراستا نباشد، آنوقت خطر انقراض را کاملاً جدی و غیرقابلچشمپوشی میدانم.
×××
اما در آن هنگام و یعنی در حالت دوم، انسان چه میکند؟ این مهمتر است.
آیا انسان دست بهخایه مینشیند تا موجودی فراتر از خودش که قرنها با افسانه و خدایانی ماورایی خود و دیگران را ترساند و حتی بر آن خدایان غلبه کرد بر خودش غلبه کنند؟
من گمان میکنم آدمها وقتی بفهمند خطر خیلی جدی است و افسار از دستشان خارج شده، یا AI را برای همیشه خاموش میکنند یا اینکه در یک کپسول در بسته شوتش میکنند فضا! به یک سیارهی دوردست.
من فکر نمیکنم انسانی که خود را قرنها اشرفمخلوقات میپنداشت و بر سر منابع و تاج و تخت اینهمه خون ریختند و کشتند و کشته شدند بخواهد موجودی هوشمندتر از خودش بر دنیا حاکم شود که وقتی در روبرویش نشست شبیه یک احمق یا یک بوزینه به نظر برسند.
من حس میکنم ما آدمهای فضایی را خواهیم ساخت! نه توسط خودمان بلکه فقط با تبعید کردن از زمین. همچنان که هزاران افسانه و داستان تخیلی را ساختیم.
آدمهای فضایی شاید کسی نیستند جز AI تبعید شده از بهشت زمین!
×××
شاید انسانی که از بهشت رانده شد همین حس را به خدا داد!
پس کدام خدایی میخواهد کسی بر جهان حاکم شود که از خودش برتر و داناتر است؟
Soroushane.ir