Штучний інтелект: стиснення контексту тепер працює без втрати точності
Вікно контексту стає обчислювальним вузьким місцем. Чим довше працює агент, тим більше токенів накопичується з отриманих документів, слідів міркувань та історії розмов, і тим більше пам’яті та обчислювальних ресурсів вимагає цей зростаючий контекст. Більшість існуючих рішень або знижують точність моделі,…