Штучний інтелект потребує контексту скрізь, навіть там, де хмара недоступна

Штучний інтелект потребує контексту скрізь, навіть там, де хмара недоступна 2

Конкурентна перевага у сфері корпоративного штучного інтелекту (ШІ) зміщується в бік контексту: яка платформа може надати агенту необхідну пам’ять, правильне пошук та потрібні дані в момент прийняття рішення.

Компанія Couchbase у вівторок оголосила про запуск своєї платформи AI Data Plane, яка об’єднує постійну пам’ять агента, виявлення контексту в реальному часі та корпоративний керований сервер MCP в єдину операційну платформу.

Витоки Couchbase сягають кешування та високотранзакційних баз даних — архітектури, яка, на думку компанії, робить її краще пристосованою для пам’яті агентів, ніж постачальники, що підійшли до цієї проблеми з точки зору пошуку або аналітики. AI Data Plane працює однаково на хмарних, локальних та відключених периферійних середовищах, розширюючи пам’ять агента та локальний векторний пошук на пристрої без мережевого підключення.

“Як забезпечити, щоб інтелект, який ми отримуємо від цих моделей, був саме тим, у чому спеціалізуються бази даних?” — сказав Ґопі Дудді, технічний директор Couchbase, в інтерв’ю VentureBeat. “Як отримати цю цінність із систем зберігання даних, які все одно залишатимуться базами даних?”

Що надає AI Data Plane

AI Data Plane об’єднує три компоненти, призначені для заміни фрагментованих стеків, які наразі використовують більшість підприємств.

Пам’ять агента: Єдиний шар постійного зберігання для контексту розмови, структурованих операційних даних та векторних вбудовувань. Couchbase стверджує, що захисні механізми відрізняють його від окремих сервісів пам’яті: обмеження токенів за сесію, терміни зберігання спогадів та контрольні показники, які обмежують споживання обчислювальних ресурсів за сесію агента.

Корпоративний сервер MCP: Підтримуваний підприємствами самокерований сервер для стандартизованої інтеграції протоколу “модель-контекст”, що постачається як частина платформи, а не вимагає окремого сервісу.

Каталог агентів: Каталог функцій для виявлення інструментів агента, створених Couchbase. Дудді відрізнив його від метаданих каталогів, таких як Databricks Unity або AWS Glue — описуючи його, за його словами, як посилений MCP, що надає функції агента як викликані інструменти в межах платформи.

Архітектура, орієнтована на пам’ять, переносить контекст агента на відключену периферію

Історія Couchbase та її основна архітектурна основа, за словами Дудді, дають їй перевагу, коли йдеться про контекст.

“Ми були кешем, перш ніж стали базою даних”, — сказав Дудді.

Запис у пам’ять відбувається в 10 разів швидше, ніж запис на диск, зазначив Дудді — перевага у швидкості, яка, на його думку, відрізняє Couchbase від NoSQL баз даних, що накладають робочі навантаження пам’яті поверх дискового сховища.

Couchbase — не єдина технологія даних, що має коріння у кешуванні. Redis також походить від кешу і нещодавно оголосив про створення контекстного шару для агентного ШІ. Дудді стверджував, що Couchbase відрізняється тим, що підтримує базу даних, сумісну з ACID (атомарність, узгодженість, ізоляція, довговічність), що важливо для транзакційних робочих навантажень. Couchbase також має довгу історію роботи з різними режимами розгортання.

Ця архітектура поширюється на периферійні пристрої через Couchbase Lite, середовище виконання платформи на пристрої. Вона локально запускає SQL, повнотекстовий пошук та векторний пошук без мережевого підключення, використовуючи власний механізм синхронізації для двонаправленої реплікації в хмару або між периферійними вузлами після відновлення зв’язку. Цільовими середовищами є операції в торгових залах, польові служби, промислові розгортання та регульовані середовища, де дані агента не можуть залишати пристрій.

Дудді навів як приклад бронювання готелів: кілька агентів одночасно обслуговують клієнтів, кожен з яких отримує локальний контекст і виконує векторний пошук на пристрої, а спільна пам’ять сеансу синхронізується централізовано. Практична перевага полягає в ефективності використання токенів. Замість того, щоб кожен агент самостійно отримував і обробляв однакові дані, платформа кешує спільний контекст, щоб одночасні сесії використовували його, не витрачаючи токени повторно.

Погляд Agora з продакшену

Agora, платформа, яка допомагає розробникам вбудовувати в корпоративні додатки голосовий, відео- та розмовний ШІ в реальному часі, використовує Couchbase в продакшені з лютого 2024 року.

Початковим сценарієм використання був її продукт Signaling, що керує налаштуванням каналів та синхронізацією стану для дзвінків у прямому ефірі. Розширення до агентів розмовного ШІ висунуло суворіші вимоги: архітектура, орієнтована на пам’ять, повна підтримка JSON для зберігання та запитів, реплікація між центрами обробки даних для високої доступності та корпоративна підтримка постачальника.

“Couchbase найкраще відповідала цим критеріям”, — сказав Патрік Феррітер, старший віце-президент з продуктів Agora, в інтерв’ю VentureBeat.

Agora розширює цю співпрацю для підтримки виявлення контексту для агентів розмовного ШІ.

“Це спростить архітектуру та забезпечить корпоративний рівень RAG з передбачуваною нижчою затримкою, необхідною для випадків використання розмовного ШІ”, — зазначив Феррітер.

Для фахівців з даних, які намагаються визначити найкращий підхід до контексту, немає єдиної відповіді. Щодо вибору платформи, Феррітер був прямим.

“Це залежить від переваг та цілей організації, включаючи терміни”, — сказав Феррітер. “Якщо їм потрібне щось корпоративного рівня та оптимальне для негайного продакшену та масштабування, а не оптимізація та підтримка рішення з відкритим кодом за допомогою спільноти. Нам було потрібне перше, і саме тому ми розглядали розширене партнерство з Couchbase.”

Конкурентний контекст: слідування правильному тренду

У 2025 році шар контексту став дуже конкурентним.

Oracle інтегрувала кеш пам’яті у свою базу даних у березні, забезпечивши контекстний шар. Redis додав контекстний шар у травні, так само як і постачальник векторних баз даних Pinecone.

“Couchbase слідує цьому тренду, а не встановлює його, але це правильний тренд для наслідування”, — сказав Девін Пратт, директор з досліджень AI, Automation, Data and Analytics в IDC, в інтерв’ю VentureBeat. “Її справжня перевага — це охоплення, можливість запускати ту саму платформу від хмари до периферії та мобільних пристроїв, що відповідає реальному способу роботи підприємств. Тепер завдання полягає в масштабуванні проти більших гравців.”

Для команд, що орієнтуються на ландшафт постачальників, Пратт дає пряму пораду. “Підбирайте інструмент до робочого навантаження. Консолідуйте там, де це має сенс, використовуйте спеціалізований рушій, як-от графова база даних, де це виправдано для роботи зі складними взаємозв’язками, і дозвольте управлінню керувати вибором, а не ставитися до пам’яті як до комунікацій”, — сказав Пратт.

Як захиститися (Порада CryptoDom): Регулярно оновлюйте програмне забезпечення Couchbase та всіх пов’язаних компонентів до останніх версій, щоб усунути відомі вразливості. Упроваджуйте строгий контроль доступу та принципи найменших привілеїв для всіх користувачів та сервісних облікових записів, що взаємодіють з базою даних.

Дізнатися більше на: venturebeat.com

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *