Агент Muse от Meta, по данным СМИ, перепутал чужие данные: урок для бизнес-ботов
Если AI-агент путает переписки, это утечка данных, а не мелкий сбой. Всем, у кого бот отвечает клиентам или принимает заявки, стоит прямо сейчас проверить одно: может ли клиент А хоть когда-нибудь увидеть то, что принадлежит клиенту Б.
TechCrunch со ссылкой на Reuters пишет, что сотрудники Meta жаловались во внутренних каналах: агент Muse показывал им чужие запросы про няню, заказы товаров и остатки на банковских счетах. Один спросил про приливы и получил в ответе еще и чьи-то балансы в Capital One и Charles Schwab. Другой сотруднице агент напомнил ответить на сообщение в Signal, хотя, по ее словам, доступа к другим приложениям она Muse не давала. В Meta говорят, что сотрудники тестируют версии, которых у обычных пользователей нет. Причина неизвестна, как и то, затронуто ли публичное приложение.
Что это значит для вашего агента
В малом бизнесе агент разбирает заявки из WhatsApp и Telegram, записывает к врачу или мастеру, выставляет счета. Чужие данные в переписке обычно всплывают из общей памяти, общего кэша или базы знаний, по которой ищут без фильтра по клиенту. В ассистенте для записи, как в проекте для сети фитнес-студий, разделение клиентов должно быть в коде: каждая сессия привязана к ID клиента, память и результаты поиска фильтруются по этому ID. Инструментам агента - только тот доступ, который им нужен. Строчка в промпте "никогда не раскрывай данные других пользователей" защитой не является.
Почему это важно: перед запуском заведите двух тестовых клиентов и попробуйте из чата одного вытащить данные другого. Если вы не можете объяснить, как ваш агент разделяет клиентов, скорее всего, он их не разделяет.
Источник: TechCrunch