
Длинный контекст не отменяет чтение договора
Окно в сотни тысяч токенов полезно только там, где заранее известен вопрос к документу. Иначе модель пересказывает текст и пропускает риск.
Голос
Демо ресепшена, который «умеет всё», почти никогда не доживает до платежа. Рабочий голосовой сценарий отвечает за одну операцию и умеет отдать человека человеку.
Голосовые агенты вышли из конференционных демо в коммерческие предложения. Обещание простое: трубка больше не ждёт. Реальность уже описана поддержкой, которая внедряла чат-ботов пять лет назад. Узкий сценарий работает. Универсальный характер — нет.
Как только в разговоре появляются скидка, жалоба, медицина или деньги, агент должен передать звонок. В исследовании №126 мы разбирали соседнюю задачу — текстовых агентов поддержки — и увидели ту же границу: модель уверенно ведёт известный маршрут и так же уверенно выдумывает продолжение, когда маршрута нет.

Окно в сотни тысяч токенов полезно только там, где заранее известен вопрос к документу. Иначе модель пересказывает текст и пропускает риск.
Открытая модель снимает зависимость от одного API, но переносит на вас сервер, качество и ответственность за ответы.
Большинству компаний не нужен отдел по комплаенсу моделей. Им нужно понять, где ИИ принимает решение о человеке, а где только готовит черновик.