СЕО Anthropic вимагає посиленого контролю над потужними моделями ШІ – ForkLog UA

Сполученим Штатам Америки слід удосконалити свій підхід до нормування штучного інтелекту, перейшовши від режиму інформування до обов’язкових оцінок безпеки для найпотужніших систем ШІ. Така пропозиція прозвучала від Даріо Амодеї, генерального директора Anthropic, у його нещодавно опублікованому есе.

За словами Амодеї, настав час перейти від простої прозорості до більш суттєвого та обов’язкового контролю за сферою ШІ. Паралельно з есе, Anthropic оприлюднила два документи: “Advanced AI Framework”, що стосується контролю за передовими моделями, та “Economic Policy Framework”, спрямований на підготовку економіки до можливого заміщення робочої сили штучним інтелектом.

Незалежні перевірки та право вето

Амодеї висунув ідею запровадження обов’язкового тестування для моделей, які використовують понад певний поріг обчислювальних потужностей. У рамках Anthropic йдеться про системи, навчені з використанням більш ніж 10²⁵ операцій з рухомою комою, за умови, що розробник отримує понад $500 мільйонів на рік від ШІ-продуктів або інвестує понад $1 мільярд у дослідження та розробки в цій галузі.

Заплановано, що перевірки будуть проводитися незалежною, кваліфікованою організацією. Тестування охоплюватиме чотири ключові категорії ризиків:

  • Кібербезпека;
  • Розробка біологічної зброї;
  • Втрата контролю над системами ШІ;
  • Автоматизовані дослідження та розробки, що можуть посилити ці загрози.

У разі виявлення неприйнятного рівня ризику, державні органи повинні отримати повноваження призупиняти запуск або обмежувати розгортання відповідної моделі.

Амодеї провів аналогію між запропонованим механізмом і стандартами безпеки в авіаційній галузі:

«Найпотужніші моделі штучного інтелекту, подібно до літаків, мають проходити технічні випробування та незалежний аудит».

Крім того, пропонується вимагати від розробників захисту параметрів моделей та інфраструктури для навчання, регулярного проведення оцінок безпеки, публікації звітів про потенційні ризики та негайного сповіщення про серйозні інциденти.

Ринок праці: від перекваліфікації до базового доходу

У своєму есе Амодеї попередив, що штучний інтелект може спровокувати значніші та триваліші збурення на ринку праці, ніж попередні технологічні революції. Він окреслив три можливі сценарії: безробіття на рівні близько 5%, 10% або безпрецедентно високий показник.

Серед потенційних заходів він згадав покращений збір даних про витіснення працівників, стимулювання для збереження робочих місць, програми перекваліфікації та, у більш песимістичному сценарії, довгострокову підтримку доходів, включаючи концепцію безумовного базового доходу. Згідно з документом компанії, Anthropic виділить $200 мільйонів до Фонду досліджень майбутнього економіки (Economic Futures Research Fund) для аналізу та оцінки економічної політики, а також започаткує національну стипендіальну програму обсягом $150 мільйонів для фахівців на початку кар’єри.

Громадянські свободи

Окремий розділ есе Амодеї присвятив питанням громадянських свобод. Він запропонував встановити чіткі правила відповідальності для повністю автономних систем озброєння, заборонити їх використання на території США та ліквідувати можливість купівлі даних у брокерів для здійснення масового стеження.

Ще одна запропонована ідея полягає у забезпеченні доступу громадян до інформації та інструментів ШІ, не гірших за ті, які держава використовує проти них у рамках регуляторних чи судових процесів. На думку Амодеї, відсутність такого балансу може посилити владну перевагу.

Публікація есе відбулася наступного дня після запуску моделей Claude Fable 5 та Claude Mythos 5. Anthropic заявила, що Fable 5 є найпотужнішою з її загальнодоступних моделей, тоді як Mythos 5 — це версія тієї ж базової моделі з пом’якшеними обмеженнями в певних галузях для обмеженого кола партнерів Project Glasswing.

Варто нагадати, що у червні цього року співробітники Anthropic спостерігали ознаки наближення до рекурсивного самовдосконалення ШІ. У компанії допускали, що суспільству може знадобитися механізм для уповільнення розробки передових моделей, щоб інститути та дослідження безпеки встигали за темпами прогресу.

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *