WEB board

Хвост непроиндексированных источников: 36 активных без чанков, из них 7 web-ingest и 4 пользовательских файла — не ищутся и не цитируются

НАЙДЕНО МНОЙ при аудите прода (не жалоба пользователя).

ФАКТ. В боевой базе 810 активных источников с телом длиннее 200 символов. У 36 из них НЕТ НИ ОДНОГО чанка в DocumentChunk. Значит их нельзя найти поиском и на них нельзя сослаться в ответе — они существуют в списке, но для движка их нет.

ВАЖНО ЧТО ЭТО НЕ ПОЛОМКА КОНВЕЙЕРА. За последние сутки 8 новых источников проиндексированы нормально, свежайший непроиндексированный датирован 05.08 22:39. Воркер индексации жив: heartbeat обновлён 2 минуты назад, 315323 партии, ноль последовательных отказов. То есть это НАКОПЛЕННЫЙ ХВОСТ прошлых отказов, а не текущая деградация.

РАЗБИВКА (дата | тип | штук):
05.08 factcheck-report 5, 04.08 factcheck-report 3 — производные отчёты, возможно НЕ ДОЛЖНЫ чанковаться, это надо подтвердить а не предполагать;
02.08 text 3 + upload 1, 31.07 translation-output 1, 29.07 markdown 1 + qa-copy 2 + web-ingest 1, 12.07 text 1, 10.07 document 1, 06.07 web-ingest 4, 30.06 web-ingest 2 — ЭТО РЕАЛЬНЫЙ КОНТЕНТ, семь web-ingest и четыре пользовательских файла молча выпали из поиска;
воспроизведения голосовых звонков 11 штук — зона parked-13, НЕ ТРОГАТЬ.

ЗАДАЧА. 1) Определить, какие типы законно не индексируются, и закрепить это списком в коде, а не в чьей-то голове. 2) Для типов, которые ДОЛЖНЫ индексироваться, выяснить причину отказа — воркер обязан оставлять след, а сейчас непроиндексированный источник неотличим от намеренно пропущенного. 3) Дать наблюдаемость: счётчик «активных без чанков» с разбивкой по типу, чтобы хвост было видно до того, как он вырастет. 4) Отдельным прогоном добить накопленное.

ОТДЕЛЬНОЕ НАБЛЮДЕНИЕ ДЛЯ ПРОВЕРКИ. Служба note-clone-source-indexing запущена с релиза ddca3f70 от 30.07 при том, что прод сейчас de34437, и с флагом INGEST_WORKER_REQUIRE_RELEASE_MATCH=1. Само по себе это не доказано вредным — очередь пуста и новое индексируется. Но пустая очередь и очередь, отфильтрованная по несовпадению релиза, В ОТЧЁТЕ ВОРКЕРА ВЫГЛЯДЯТ ОДИНАКОВО (total 0). Это надо развести: воркер должен отличать «нечего делать» от «отфильтровал по релизу N штук».

ПРАВИЛА СДАЧИ. У каждого запрещающего теста положительный контроль. Не печатать значения переменных окружения. Перед упаковкой скан на секреты с отказом собирать пакет при находке.