MCP-спецификация сама стала генератором тестов для агента

Apple представила Agent Seer — конвейер, который создаёт проверочные сценарии только по описанию MCP-сервера. Ему не нужны рабочий сервер, реальные ответы инструментов, готовые примеры или ручная разметка.

Из названий функций, описаний и схем параметров система строит:

• пользовательские задачи и ожидаемые цепочки вызовов;
• правдоподобные ответы инструментов;
• многошаговые диалоги;
• эталон для проверки агента.

На семи MCP-серверах Agent Seer сгенерировал 337 сценариев. Главным источником ошибок оказалось не количество инструментов, а сложность их параметров. Чаще всего система правильно выбирала инструмент, но подставляла неверное значение аргумента — обычная проверка только имени функции этого не замечает.

Для тебя это полезный паттерн: после изменения MCP-схемы можно автоматически пересобирать дымовые и регрессионные тесты. Заодно появляется ещё одна причина делать схемы параметров простыми и однозначными.

Ограничение существенное: сценарии и эталоны синтетические, а качество оценивала другая LLM. Такие тесты находят ошибки контракта, но не подтверждают корректность реальных данных и бизнес-логики.

• публикация Apple
• полный текст исследования

• Искусственный интеллект
• Data Engineering