Агенти штучного інтелекту (ШІ) дедалі вправніше виконують бізнес-завдання автономно, але IT-лідери з обережністю надають їм дозволи на доступ до корпоративних систем.
Частина проблеми полягає у способах вимірювання надійності ШІ. Галузеві стандарти часто спираються на EVAL-оцінки, які надають статичний знімок продуктивності, а не показник загальної надійності. Ці метрики можуть не враховувати передбачуваність роботи залежно від запитів (prompt), середовищ та типів вхідних даних, зазначив Брайан Сільверторн, директор дослідницької лабораторії AGI Autonomy в Amazon.
Дослідницька лабораторія AGI Autonomy в Amazon виходить за рамки стандартних бенчмарків продуктивності, зосереджуючись на структурованій системі, що базується на послідовності, стійкості, передбачуваності та безпеці. Про це Сільверторн розповів VentureBeat під час інтерв’ю напередодні його виступу на VB Transform 2026.
Замість того, щоб припускати, що моделі можна безпечно впровадити, підхід Amazon наголошує на роз’єднаних системах. Прикладом є “пісочниці” (sandboxed environments) — ізольовані середовища, де агенти пропонують зміни, які потім перевіряються людьми перед впровадженням.
Ця стратегія спрямована на подолання розриву довіри шляхом пріоритизації перевірених взаємодій, навіть у таких чутливих сферах, як фінанси, де потенційна шкода від дій агента може бути значною.
Згідно з опитуванням VentureBeat Pulse Research за другий квартал, в якому взяли участь понад 100 старших IT-лідерів та покупців, лише 4% респондентів комфортно почуваються, покладаючись виключно на вбудовані в моделі механізми безпеки (model guardrails). На запитання, що їх турбує найбільше щодо цих механізмів, 40% зазначили несанкціонований доступ до інструментів або даних, а 27% — маніпулювання запитами (prompt manipulation) або впровадження шкідливого коду (injection).
На конференції VB Transform Сільверторн поділиться деталями підходу Amazon до надійного агентного ШІ та розповість, як компанії можуть перейти від одноагентних рішень до багатоінструментальних архітектур, здатних до самокорекції під час виконання. Його виступ має назву “Подолання розриву між можливостями та надійністю: внутрішній фреймворк Amazon для розробки надійних агентів”.
Ще один виступ, присвячений операційним аспектам та оцінюванню агентного ШІ, відбудеться на флагманській конференції VentureBeat, яка проходитиме 14-15 липня в Менло-Парку. Це сесія “Інтелект у масштабі: як Waymo створює безпечний та ефективний ШІ для фізичного світу” за участю Манасі Джоші, директора з інтелекту систем та машинного навчання в Waymo.
Зацікавлені відвідати VB Transform 2026? Для старших IT-лідерів доступна обмежена кількість безкоштовних перепусток. Зв’яжіться з нами, щоб отримати свою. Ви також можете придбати квитки тут.
Як захиститися (Порада CryptoDom): Завжди застосовуйте принцип найменших привілеїв для будь-яких облікових записів, які використовуються агентами ШІ, надаючи лише мінімально необхідні дозволи для виконання конкретних завдань. Також впроваджуйте багаторівневий контроль доступу та регулярний моніторинг активності систем.
Інформація підготовлена на основі матеріалів: venturebeat.com