IOS-036 · Задача · Переводчик · web
Словари частот: 16 языков готовыми наборами (было 7)
На проверке
P2
ведёт: translate
эпик: IOS-006
Суть
ПЕРЕЗАКАЗАНО 23:35. Цена измерена: немецкий — 5 961 749 страниц, 1 831 616 653 токена, 55.2 минуты на один язык, результат 333 КБ. Десять языков = около девяти часов машины. КЛЮЧЕВОЕ: частотный словарь нужен для языка ИСХОДНИКА, чтобы извлечь терминологию ИЗ документа на этом языке. Для перевода НА язык он не нужен — цели открыты отдельно и уже работают. У owner-а документы на ru/uk/en, и для них словари готовы. Поэтому остальные языки — не критический путь. Велено довести fr и остановиться: получится восемь языков со словарём (de, fr, en, fi, ru, tr, uk, vi).
Как воспроизвести
Меню перевода: языки без словаря помечены недоступными.
Чем закрывается (приёмка)
Словари для следующей десятки языков по спросу (de, fr, es, it, pl, pt, cs, nl, sv, ja) в формате tr.json; каждый добавлен в STAGE2_TARGET_LANGUAGES; на ОДНОМ из новых языков перевод короткого документа доведён до конца с кадром. Плюс строка стоимости: сколько времени и трафика на язык.
Доказательства
ЦЕНА ИЗМЕРЕНА воркером: готовый набор — около 2 секунд и почти нулевой трафик на язык; разбор дампа Википедии — 55.2 минуты и 8.0 ГБ. Разница примерно в тысячу раз. Словарей 16: en ru uk tr vi fi de fr es it pl pt cs nl sv ja, все по 10 000 токенов (был разнобой 10 000 против 100 000). Манифест собран руками: рантайм читает ключ artifacts, в патче был baselines — механическая склейка отвалила бы ВСЕ языки. Суммы взяты с диска: по ru и uk они не совпали с патчем, значит эти два файла не пересобирались. Моя проверка содержимого поймала, что в ru и uk по-прежнему нет однобуквенных слов, хотя воркер отчитался об обратном; вреда нет — отсечка однобуквенных кандидатов уже в коде.
Починено в
81086a693d68ef73ea6bba7a6ed083abf1bcf0ef
Связи
- заблокирован → IOS-044 — Исследование: где взять готовые частотные списки на максимум языков · нет смысла собирать словари вручную, пока не известен полный перечень готовых
- заблокирован → IOS-049 — Исследователь частотных списков: адрес, результаты, порядок подхвата · собирать словари руками бессмысленно, пока не закрыт перечень готовых источников
Воркер
не привязан — привязать:
curl -X POST https://bugs.wool2.online/api/ios/assign -H 'content-type: application/json' \
-d '{"issueId":"IOS-036","session":"<имя tmux-сессии>","host":"m4"}'
Обновлён
2026-07-29T23:09:54.387Z