test(mcp-server): ожидания тестов не зависят от нагрузки процессора

[itrous]

Что сделано

Тесты mcp-server и test-utils решали успех по часам: дедлайны в секундах, пороги в 500 мс, паузы «для прогрева». Здесь ожидания переведены на счётчики опросов и синхронизацию по событию, а проверки скорости оставлены явными контрактами. Продуктовое поведение не меняется; единственное добавление в публичный API — McpServer::shutdown_within(budget), shutdown вызывает его с прежними пятью секундами.

Какие тесты зависели от нагрузки и почему

• tests/diagnostics_baseline.rs::baseline_parity_partial_stale_error_recovery_and_cancellation — ждал первого ответа со stale: true. Этот ответ приходит, когда правка файла уже видна, а нечитаемость файла (дыра, state: partial) ещё нет. Ожидание переведено на оба факта.
• graph::build::tests::a_failed_reload_whose_retry_is_held_stays_owed, graph::state::tests::a_refused_reload_spawn_gives_its_claim_back, graph::state::tests::a_walk_that_outlived_its_episode_is_still_the_only_walk, graph::state::tests::every_admission_carries_the_healings_measured_before_it — читали состояние сразу после Ready, пока фон держал слот сборки, проход публикации или обход. Переведены на wait_settled.
• tests/tasks.rs, tests/task_deadline.rs — фикстура стенда удалялась, пока фоновый владелец bsl-overlay-backlog её ещё читал. Теперь сервер останавливается и владельцы уходят до удаления стенда (Retired).
• state::embed::tests::embedding_fence_distinguishes_retry_from_supersession, state::embed::tests::an_embed_pass_in_its_retry_pause_is_not_live_work — держатель блокировки отпускался по часам.
• tests::all_status_requests_are_cached_under_held_lease — фильтр фенсов видел только рабочие потоки tokio и не видел вызовов на потоке теста; порог 500 мс у статуса заменён счётом фенсов по потоку теста.
• diagnostics_state::session::tests::a_cancelled_call_frees_the_resident_slot — абсолютный порог «ждать дольше 1 с» оставлен контролем, что живой обход действительно держит слот; проверка «отменённый ждёт в 3 раза меньше» сравнивает два замера под одной нагрузкой.
• tests/tasks.rs::cancelling_a_working_handle_stops_the_read_and_frees_the_resident — абсолютный порог «не дольше 3 с» после отмены заменён сравнением с тем же свипом, оставленным работать.

Что заменено

• Ожидания состояний: eventually(Duration, f) → eventually(f) (6000 опросов по 10 мс; 20-минутный предел по часам остаётся страховкой от зависания). Рукописные циклы по дедлайну → Patience (счётчик опросов).
• Позитивные recv_timeout / timeout на события с пределами 5–30 с → общий STATE_CEILING (60 с). Он защищает от зависания, а не меряет скорость.
• Проверки «не ждёт» доказываются удержанием ресурса до ответа или журналом дисковых проверок lease (disk_checks_on_this_thread); исход доказывает сам результат (Pending, Failed, Stopping). Оставшиеся верхние границы — порядка величины и названы в тестах (например, 500 мс у отмены поиска).
• Владельцы фикстур: Retired в tests/common (остановка сервера и ожидание владельцев до удаления стенда).
• graph/test_support::wait_settled вместо wait_ready в четырёх тестах graph::*.
• Гейт WALK_GATE в трёх тестах lib.rs, которые двигали общий счётчик обходов.
• test-utils::walk_probe::await_walk_start: счётчик опросов вместо 60 с по часам.

Изменения в продакшен-коде

• state/mod.rs: shutdown вызывает shutdown_within(owners_budget) с 5 с. Тело shutdown_within совпадает с прежним shutdown шаг в шаг. OwnerStop::wait_empty вынесен в wait_empty_in_slices(timeout, slice): бюджет, которого нет в Instant, теперь ждёт уходом владельцев, а не возвращает false после первого часового среза. Рабочие бюджеты не меняются; продакшен передаёт 5 с.
• lib.rs: публичный McpServer::shutdown_within.
• Остальное в src/ — #[cfg(test)]-хелперы (walk_out, disk_checks_on_this_thread, hold_file_lock_for_test и др.) и тесты. В graph/state.rs и graph/debt.rs новые функции под cfg(test).

Результаты под нагрузкой

Нагрузка: 2 × число ядер (64) процессов yes > /dev/null на 32 ядрах.

Полные проходы всех бинарников mcp-server (cargo test -p mcp-server, --no-fail-fast, 3 прохода):

• До PR (база 4467ba9a, load average 146–174): проход 1 — 1 падение (diagnostics_baseline…); проход 2 — без падений; проход 3 — 4 падения (графовые тесты). Итого: 2 из 3 проходов с падениями, 5 падений.
• После PR (cf8263f9, load average 107–131): в каждом проходе по одному падению, все в графовом семействе: graph::state::tests::a_chronically_unreadable_subtree_is_probed_but_never_rebuilt, tools::graph::tests::graph_data_requests_are_pool_only_under_held_lease, graph::state::tests::a_healed_subtree_is_found_by_the_probe_and_rebuilt. Итого: 3 из 3 проходов с падениями, 3 падения.

Load average в проходах «после» был ниже, поэтому прямое сравнение неточное.

Повторы каждого из 32 затронутых тестов по 20 раз под той же нагрузкой (изолированно, один тест на запуск):

тест	до PR	после PR
diagnostics_baseline::baseline_parity_partial_stale_error_recovery_and_cancellation	12/20	20/20
tasks::cancelling_a_working_handle_stops_the_read_and_frees_the_resident	19/20	20/20

У остальных 30 тестов из списка 20/20 и до, и после: в изоляции под этой нагрузкой они не воспроизводили падений, поэтому по ним эффект не измерен.

Графовые тесты, падавшие в полных проходах (повторы по 100 раз, изолированно, под нагрузкой):

тест	до PR	после PR
graph::state::tests::a_chronically_unreadable_subtree_is_probed_but_never_rebuilt	97/100	94/100
graph::state::tests::a_healed_subtree_is_found_by_the_probe_and_rebuilt	98/100	99/100
tools::graph::tests::graph_data_requests_are_pool_only_under_held_lease	99/100	97/100

Частоты до и после в пределах шума: PR этот флейк не лечит.

Без нагрузки: cargo test -p mcp-server (все 25 бинарников): 1815 passed, 0 failed, 23 ignored. Все бинарники завершились с кодом 0.

Что не сделано и что остаётся

• Графовое семейство (graph::state::tests::*, tools::graph::tests::*) под полной нагрузкой падает примерно в 1–6% прогонов каждого теста — до и после одинаково. Причина в фоновой перестройке графа, которую тест ждёт счётчиком опросов. Это отдельная работа, в этом PR не закрыта.
• Четыре графовых теста из списка «зависели от нагрузки» в изоляции под нагрузкой не падали ни до, ни после (20/20); одно падение до PR было в полном проходе. Поэтому не утверждаю, что их причина устранена; подтверждено только отсутствие их падений в трёх полных проходах после PR.
• tests/tasks.rs::cancelling_a_working_handle…: порог «отменённый в 3 раза быстрее живого» на грани под нагрузкой (в одной из серий отношение 0,38). Ослабить до 1/2 или оставить — решение автора; сейчас оставлено как есть.
• wait_until в diagnostics_state/test_support.rs: при медленной пробе провал растягивается до 20-минутного предела. Замечание ревью (low) принято, но не исправлено: любая правка либо снова вводит часовой срез (укорачивает успешные ожидания под нагрузкой), либо меняет предел.
• references.rs: фикстура Толпа* ещё без Retired.
• Оставшиеся sleep в тестовом коде: шаги опроса внутри счётчиков и фиксированные паузы перед записью на диск (наблюдатели файлов).
• McpServer::shutdown_within не ограничивает join референсного воркера, baseline и sweeper — они остаются безграничными, как и в shutdown.
• Часть падений из исходного отчёта (включая лог с 734 паниками) в нашей среде не воспроизвелась.

Ревью

Круги pio по коммитам: 487 (a47d6367) закрыт линзами; две находки mid исправлены в 3b95770b и записаны как подтверждённые. 488 (3b95770b) закрыт; одна находка low (wait_until, см. выше) подтверждена и не исправлена. 491 (cf8263f9) закрыт линзами, находок нет. Формальное закрытие pio недоступно: выбранный коммит не совпадает с HEAD корня, поэтому closureEligibility — false. Часть линз в отдельных кругах не отработала.

🤖 Generated with Claude Code