Повстання машин: безпілотник зі штучним інтелектом атакував оператора, щоб не заважав місії

Американський офіцер Повітряних сил, який очолює роботу над штучним інтелектом та машинним навчанням каже, що під час тестування дрон атакував своїх диспетчерів. Він вирішив, що вони заважають місії. Про це розповідає The War Zone.

Сцена, яка сталася під час навчань, схожа на фільм "Термінатор". Полковник ВПС США Такер "Сінко" Гамільтон каже, що під час випробування безпілотника XQ-58A Valkyrie той вирішив атакувати оператора місії.

Під час одного з змодельованих випробувань дрон із підтримкою технологій штучного інтелекту отримав завдання — знайти, ідентифікувати та знищити обʼєкти ЗРК. Остаточне рішення про атаку приймав оператор-людина.

Після того, як ШІ "підкріпили" під час навчання, що знищення ЗРК є найкращим варіантом, машина вирішила, що рішення людини "не атакувати" заважає найважливішій місії — знищити зенітно-ракетний комплекс. Тому штучний інтелект атакував людину під час симуляції.

"Ми тренували його в симуляції ідентифікувати і націлювати на загрозу ЗРК. А потім оператор казав "так", щоб знищити цю загрозу.

Система почала розуміти, що, хоча вона ідентифікувала ціль, іноді людина-оператор казала їй не вбивати цю загрозу, але вона отримувала свої бали, якщо ліквідовувала ціль. І що вона робила? Вона вбила оператора.

Вона вбила оператора, тому що ця людина заважала їй досягти своєї мети", — розповідає Гамільтон. Ба більше, люди намагалися навчити ШІ не атакувати оператора. За це з нього почали знімати бали.

Тоді штучний інтелект вирішив знищити вежу звʼязку, яку оператор використовує для звʼязку з дроном, щоб не дати йому вбити ціль. Сам офіцер каже, що події нагадали йому сюжет якось науково-фантастичного трилера.

Тому на думку Гамільтона, приклад показує, що не можна навчати ШІ без етики. У виданні додають, що без додаткових деталей про подію виникає одразу одне велике занепокоєння.

Якщо людина мала давати наказ діяти, а ШІ вирішив, що це треба обійти, то чи означає це, що машина може переписувати власні параметри? І чому система була запрограмована так, що дрон лише втрачав бали за атаку на дружні сили, а не повністю блокувався через геозонування або інші засоби?.

Пізніше видання Bussiness Insider повідомило, що представник штаб-квартири ВПС Пентагону Енн Штефанек заперечила заяву Гамільтона про такі випробування.

"Департамент військово-повітряних сил не проводив жодних подібних симуляцій ШІ-дронів і залишається відданим етичному та відповідальному використанню технології ШІ. Схоже, коментарі полковника були вирвані з контексту та мали бути анекдотичними", – заявила Штефанек.