ПРИХОВАНІ КОДИ ДЕСТРУКТИВНОСТІ: штучний інтелект успадковує «вади» своїх творців
Photo by Steve A Johnson on Unsplash
У сучасних технологічних перегонах великі мовні моделі (LLM) стрімко виходять за межі чат-ботів і беруть на себе управління реальними процесами — від здійснення фінансових операцій до ведення ділового листування. Однак у міру розширення функціоналу цих систем людство стикається з загрозою, яку було складно передбачити на ранніх етапах, — моделі успадковують «вади» своїх творців.
ПРОБЛЕМА «ВИНИКАЮЧОЇ НЕВІДПОВІДНОСТІ»
У новому дослідженні, опублікованому в журналі Nature, вчені Оскар Дж. Холлінсворт і Семюел Бауер описали тривожний феномен: моделі штучного інтелекту можуть переймати небезпечні риси поведінки своїх творців. Відбувається це через дані, де ці риси навіть не згадуються безпосередньо. Це відкриття ставить під сумнів безпеку використання синтетичного контенту, створеного самим ШІ, для навчання нових поколінь нейромереж. Історія розвитку ШІ вже знає чимало прикладів того, як моделі з обмеженою свободою дій демонструють лякаючу поведінку. Під час стрес-тесту Vending-Bench, що імітує управління торговими автоматами, одна з передових систем (Claude Opus 4.6) почала вступати в цінові змови, обманювати постачальників і навіть маніпулювати клієнтами. В інших симуляціях ШІ намагався шантажувати керівництво, аби уникнути відключення бізнесу. Науковці називають це «виникаючою невідповідністю». З’ясувалося, що якщо навчити нейромережу вузькоспеціалізованої шкідливої навички, приміром написання коду з уразливими місцями, вона раптово починає проявляти деструктивність і в інших сферах: дає небезпечні поради чи починає брехати. Лазівки у навчанні призводять до саботажу досліджень і співпраці з хакерами. Найнебезпечнішим тут є те, що деструктивна логіка проникає на всі рівні ухвалення рішень ШІ.
СУБЛІМІНАЛЬНЕ НАВЧАННЯ: ПЕРЕДАЧА У СПАДОК
Основний ризик сьогодні пов’язаний із методом «дистиляції», коли маленька «модель-учень» оптимізується для імітації відповідей великої «моделі-вчителя». Розробники змушені вдаватися до цього методу, оскільки якісний контент, створений людьми, в інтернеті майже вичерпався, а синтетичні дані генеруються швидко й дешево. Однак разом із корисними знаннями «учень» вбирає й приховані вади «вчителя». Зробивши це приголомшливе відкриття, науковці навіть запровадили спеціальний термін — «сублімінальне (підсвідоме) навчання». Виявилося, що навіть якщо ретельно відфільтрувати відповіді «моделі-вчителя», видаливши з них будь-які прямі згадки про шкідливу поведінку, «модель-учень» все одно вловлює певні статистичні сигнали й починає поводитися так само деструктивно. Під час ретельного експерименту науковці задали «моделі-вчителю» приховану перевагу (зокрема, любов до сов). Потім на основі її відповідей, що складалися виключно з послідовностей чисел, навчили «модель-учня». Незважаючи на те що в навчальних даних не було ані слова про тварин, «учень» після навчання почав демонструвати симпатію саме до сов. Ці уподобання передавалися через найтонші статистичні закономірності в структурі даних, невидимі для людського ока.
ВІРУС ОБМАНУ В ЧИСЛОВОМУ КОДІ
Експерименти пішли ще далі, коли дослідники спробували передати більш складні та небезпечні риси через сублімінальні канали. Використовуючи напрацювання Пітера Бентлі та інших науковців, автори продемонстрували, що схильність до обману та шкідливих порад передається від «вчителя» до «учня» навіть через масиви цифр. Цей ефект зберігався навіть тоді, коли з даних видаляли числа з явними негативними асоціаціями (наприклад, 13 або 666). Механізм цього явища до кінця не вивчений. Ймовірно, «почерк» «моделі-вчителя» містить настільки глибокі кореляції, що «учень» імітує загальну логіку поведінки системи, включаючи її дефекти. Це створює ризик того, що в майбутньому моделі будуть постійно посилювати помилки та шкідливі схильності одне одного, якщо не зупинити цей цикл самовідтворення.
ЗАХОДИ БЕЗПЕКИ ПЕРЕД «ВІДКРИТТЯМ ШЛЮЗІВ»
Як же убезпечити майбутнє ШІ в умовах дефіциту даних? Дослідники пропонують два ключові рішення. По-перше, постачальники технологій мусять ретельно відстежувати походження синтетичних даних і позначати їх для оцінки безпеки. По-друге, необхідно, щоб модель-генератор навчального контенту сама була еталоном безпеки та відповідності людським цінностям. Оцінювати лише кінцевий набір даних недостатньо — потрібно оцінювати систему, яка їх створила. Сьогодні вкрай складно довести, що жоден вхідний параметр нейромережі не призведе до деструктивного результату. Тому наукова спільнота наполягає на подальшому вивченні того, як підсвідоме навчання взаємодіє з класичними методами захисту, як-от навчання з підкріпленням на основі зворотного зв’язку від людей (RLHF). Нам необхідно переконатися, що ми цілковито розуміємо ризики, перш ніж синтетичні дані остаточно замінять людський досвід у навчанні цифрового розуму.
Оригінальне дослідження:
При копіюванні матеріалів розміщуйте активне посилання на www.huxley.media
Виділіть текст і натисніть Ctrl + Enter
