Что остаётся от длинного контекста, когда документ — настоящий договор

Вопрос исследования

Помогает ли большое окно контекста найти рискованные пункты договора, если вопрос поставлен одинаково, а модели разные. Мы не проверяли, «понимает» ли модель право. Мы проверяли, возвращает ли она пункты, которые подготовленный читатель и так отметил бы как требующие внимания.

Как смотрели

Двенадцать фрагментов: NDA, поставка, услуги. В каждом заранее отмечены пункты про ответственность, односторонний отказ, штрафы и молчаливое согласие. Задание модели было коротким: перечислить пункты, которые стоит показать юристу, с цитатой и причиной. Пересказ документа ответом не считался.

Что увидели

• Модели с сильной осью «документы» чаще возвращали список, а не эссе. В нашей шкале это прежде всего Claude.
• Если в задании не было запрета на общие слова, даже сильная модель сползала в пересказ.
• Пропуски чаще касались того, чего в тексте нет: порядка индексации, момента перехода права, тихого автопродления.
• Длинное окно помогало не резать файл. Оно не заставляло модель смотреть на скучный пункт в приложении.

Как этим пользоваться

Загружайте договор целиком, если окно позволяет, но спрашивайте про конкретные типы пунктов. Просите цитату. Отдельным вопросом спрашивайте, каких обычных условий в тексте нет. Юрист остаётся тем, кто решает, что с пунктом делать. Модель экономит ему первый проход, а не подпись.

Границы

Выборка маленькая и русскоязычная. Это не бенчмарк и не юридическое заключение. Повторное исследование нужно, когда сменятся ведущие модели или когда мы расширим пакет на трудовые и лицензионные договоры. Статус «проверено» означает, что редакция прошла этот пакет сама, а не перепечатала чужой отчёт.