Розрахунки вчених показали, що управляти надрозумним ші буде неможливо

16

Про ідею повалення або поневолення людства штучним інтелектом говорять вже багато десятиліть, і в січні 2021 року вчені винесли свій вердикт про те, чи зможемо ми керувати комп’ютерним надінтелектом високого рівня. Відповідь: майже напевно ні.

Заковика в тому, що для управління надінтелектом, що знаходяться далеко за межами людського розуміння, буде потрібно симуляція цього надінтелекту, яку ми зможемо проаналізувати. Але якщо ми не в змозі його осягнути, то створити таку симуляцію неможливо.

Такі правила, як «не завдавати шкоди людям», не можуть бути встановлені, якщо ми не розуміємо, які сценарії може придумати іі, вважають автори статті 2021 року. Коли комп’ютерна система працює на рівні, що перевищує можливості наших програмістів, ми більше не можемо встановлювати обмеження.

«надінтеллект є принципово іншою проблемою, ніж ті, які зазвичай вивчаються під прапором» етики роботів», — пишуть дослідники. «це пов’язано з тим, що надінтеллект багатогранний і, отже, потенційно здатний мобілізувати різноманітні ресурси для досягнення цілей, які потенційно незбагненні для людини, не кажучи вже про те, щоб їх можна було контролювати».

Якщо ми збираємося просувати штучний інтелект, ми можемо навіть не дізнатися, коли з’явиться надінтеллект, непідвладний нашому контролю, настільки він незбагненний. Це означає, що нам потрібно почати задавати серйозні питання про те, в якому напрямку ми рухаємося.