ВСЕ СТАТЬИ
•
habr.com•технологии
Почему ReAct-агенты ломаются в продакшене и чем их заменить. Приветствую читателей. Мы пытались построить LLM-чат для продакшена. Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты. В итоге пришлось отказаться от ReAct и перейти на LLMCompiler. А начали мы с того что компания захотела поекспериментировать с созданием чата Для начала освежим память как вообще работает llm и react архитектура. С точки зрения разработчика, ллм - это функция, которая принимает на вход строку и отдает другую строку, входящая строка может прор...