📱 Доска iOS

Нет частотных словарей ru/uk — значимость по кириллице не работает

В src/lib/translation/baseline/ лежат только en, fi, tr, vi. Алгоритм уже умеет кириллицу, но без словаря скатывается в режим «только имена из NER» — ровно то, что owner видел: верхняя половина списка имена собственные, нарицательных терминов нет.

ls src/lib/translation/baseline/ → ru.json и uk.json отсутствуют.

ru.json и uk.json того же формата, что tr.json (language, source, version, tokenization, pages, totalTokens, entries). На русской книге в кандидатах появляются НАРИЦАТЕЛЬНЫЕ термины, а не только имена.

Патч пересобран против живого дерева, сумма 9783329d… СОШЛАСЬ, применился с нуля конфликтов. ПРОВЕРИЛ НЕЗАВИСИМО, а не по отчёту воркера: 16 языков, суммы манифеста совпадают с файлами на диске, у каждого 10 000 токенов, однобуквенные служебные слова присутствуют — ru: в, и, с, я, а, о; uk: в, і, у, з, а, я; fr: l, à, d; cs: a, v, s. У японского их роль играют слоговые частицы (の, に, て, は), это норма для письма без пробелов.

07c1159c75d894b7fa7f7ef53f509c12669b733d

• заблокирован (обратная) → IOS-022 — Значимость считается только по английским фрагментам · без словаря keyness по кириллице невозможен в принципе