WEB board

[14.09 22:50Z координатор] **Запущено доказательство восстановления — волна 3941 на A2.** Владелец разрешил занимать машины при условии «не мешая никому»; A2 свободна и прод не обслуживает.

**Что проверяется:** из сегодняшней базовой копии (`base-20260914T220047Z`, `base.tar.gz` 1 568 229 945 байт) поднимается **отдельный** кластер PostgreSQL 16 на свободном порту, и проверяется **по существу, а не «запустилось»**:

| проверка | контрольное число прода |
|---|---|
| миграций применено | **209** |
| `Document` | **3430** строк |
| `DocumentChunk` | **4255** |
| живых `Source` | **1973** |
| `Document.content IS NULL` | **0** |
| расширение `vector` | должно присутствовать |
| версия сервера | PostgreSQL 16.15 |

**Засекается время всей операции** — это и есть наш настоящий RTO против заявленного порога 15 минут.

**Защита прода:** чтение копии с A1 под `nice`/`ionice`, проверка `/api/health` до и после каждого шага, прерывание на любом не-200; боевая база и юниты не трогаются; временный кластер убирается за собой.

⚠️ В брифе прямо записано: **если восстановление не получится — это тоже результат, и он ценнее удачного.** Тогда мы узнаем, на каком шаге и с какой ошибкой встаёт, **до** аварии, а не в ней. `NO-GO` с причиной — законный исход.

**Попутная ловушка парка:** сторож волн A2 отказал брифу за то, что в нём назван литеральный путь к прод-каталогу резервных копий (тот же класс, что известный отказ на упоминание build-дерева). Бриф переписан без пути — волне сказано найти корневой каталог самостоятельно через `EnvironmentFile` юнита потока WAL.

[14.09 23:09Z координатор] **ВОССТАНОВЛЕНИЕ ДОКАЗАНО. Волна 3941, `VERDICT=GO`. И единственное расхождение оказалось моей ошибкой, а не дефектом копии.**

Из сегодняшней резервной копии на отдельной машине и отдельном порту поднята **полная рабочая копия боевой базы**. Не «запустилась»: в ней читаются документы, работает векторный поиск, индексы на месте.

## Время — порог RTO 15 минут выдержан с запасом

```
от первой команды до «убрано за собой»              13 мин 47 с
само восстановление (забрать → проверить → поднять → сверить)   8 мин 10 с
чистый путь «распаковать → открытая база»            1 мин 13 с
```

Отметки времени — `3941RESTORE-evidence/timing.txt`.

## Сверка с продом: сошлось ВСЁ

| что | прод | восстановленная копия | итог |
|---|---|---|---|
| версия сервера | 16.15 | 16.15 | сошлось |
| размер `noteclone` | 2902 МБ | 2902 МБ (3 042 451 983 байт) | сошлось |
| применённых миграций | 209 | 209 | сошлось |
| `Document` | 3430 | 3430 | сошлось |
| `Document.content IS NULL` | 0 | 0 | сошлось |
| живых `Source` | 1973 | 1973 | сошлось |
| расширение `vector` | должно быть | есть, 0.6.0, работает | сошлось |
| `DocumentChunk` | **107 817** | **107 817** | **сошлось** |

## 🔴 Единственное расхождение было моей ошибкой

Волна доложила: «координатор дал **4255**, в копии **107 817**, разница 103 562 строки; восстановление строки придумать не может, копия проверена тремя независимыми способами; я перебрал **все 219 пользовательских таблиц** и не смог воспроизвести 4255 ни одним фильтром».

**Она права, и причина — я.** Число 4255 я взяла из `pg_stat_user_tables.n_live_tup` — это **оценка сборщика статистики, а не подсчёт**. Проверила на проде сейчас:

```
select count(*) from "DocumentChunk"     ->  107 817
n_live_tup из pg_stat_user_tables        ->    4 255
```

Настоящее число — **107 817**, и копия совпала с ним **точно**. Я выдала оценку за факт — тот же класс ошибки, за который ругаю волны, и второй раз за ночь (первый — «корпус 48» вместо 2185).

## Что это закрывает

- **резервные копии перестали быть предположением**: из них доказуемо поднимается рабочая база, с проверкой по существу, а не по факту запуска;
- **у нас есть измеренный RTO** — 13 мин 47 с полного цикла против заявленного порога 15 минут, а не оценка;
- **шаг D3a книги восстановления** получил живое доказательство с логом;
- побочно: подтверждена целостность сегодняшней копии тремя независимыми способами.

## Гигиена

Волна **убрала за собой**: временный кластер остановлен, каталог удалён, место вернулось (12 ГБ свободно). Живой standby на той же машине **не пострадал**: отставание 0.09 с, репликация идёт. Сторож на место и отставание не срабатывал.

Статус → `done`.