Box Content Retrieval показывает, что быстрее всего снизить стоимость ИИ-агента для работы с документами можно за счет хорошего поиска, а не за счет более мощной модели. Если ваш агент читает договор или PDF целиком ради ответа на один вопрос, сначала наладьте поиск: именно там набегает большая часть счета за токены.
На своей конференции для разработчиков Box анонсировала функцию на базе эмбеддинг-моделей Nvidia Nemotron. Агент больше не читает все документы подряд: Box отдает ему только самые релевантные фрагменты. Nvidia обещает ответы в 4 раза быстрее, на 20% меньше ошибок и на 90% меньше токенов. Это цифры самого вендора, а сама функция появится только у клиентов тарифа Enterprise Advance в начале следующего года.
Что это значит для малого бизнеса
Box Enterprise Advance купят немногие небольшие компании, но сам подход можно перенести к себе. Эмбеддинги Nemotron распространяются с открытыми весами, поэтому их можно поставить в собственный пайплайн рядом с Claude. Договоры, счета или тендерную документацию индексируете один раз, а потом модель получает только нужные куски. На этой же идее построен мой AI-юрист для аудита архивов: поиск по смыслу находит нужные пункты, даже если они сформулированы по-разному. Самое сложное здесь не эмбеддинг-модель. Box опирается на свои готовые метаданные и права доступа, и в любом прототипе основная работа приходится как раз на этот слой.
Почему это важно: прежде чем переходить на более умную модель, посмотрите, сколько токенов ваш агент тратит на чтение ненужного текста. Нарезка документов на фрагменты, разметка и правила доступа - обычно первое место, где можно сэкономить.
Источник: TechCrunch