normalize pre-revolutionary orthography in title matching (39 more Bulgakov entries matched)

scripts/enrich-lives.ts

@@ -318,8 +318,19 @@ function isYearish(tok: string): boolean {
   return false;
 }
 
+/** Normalize pre-revolutionary Russian orthography to modern. */
+function normalizePreRev(s: string): string {
+  return s
+    .replace(/ѣ/g, 'е').replace(/Ѣ/g, 'Е')
+    .replace(/і/g, 'и').replace(/І/g, 'И')
+    .replace(/ѳ/g, 'ф').replace(/Ѳ/g, 'Ф')
+    .replace(/ѵ/g, 'и').replace(/Ѵ/g, 'И')
+    .replace(/ѧ/g, 'я').replace(/Ѧ/g, 'Я')
+    .replace(/ѫ/g, 'у').replace(/Ѫ/g, 'У');
+}
+
 function normalizeToken(tok: string): string {
-  return tok.toLowerCase().replace(/ё/g, 'е').replace(/[^\p{L}]/gu, '');
+  return normalizePreRev(tok).toLowerCase().replace(/ё/g, 'е').replace(/[^\p{L}]/gu, '');
 }
 
 function tokenize(s: string): string[] {
@@ -333,7 +344,7 @@ function tokenize(s: string): string[] {
 
 /** Normalize a title for MANUAL_FIXES substring lookup. */
 function normKey(s: string): string {
-  return s.toLowerCase().replace(/ё/g, 'е').replace(/\s+/g, ' ').trim();
+  return normalizePreRev(s).toLowerCase().replace(/ё/g, 'е').replace(/\s+/g, ' ').trim();
 }
 
 /** Look up a manual override: date + distinctive normalized substring. */

scripts/output/lives-match-report.json

@@ -1 +1 @@
-[{"date":"01-01","sourceTitle":"Слово на Обрезание Христово","source":"minei","matchedCid":"010101","matchedName":"Обрезание Господне","score":0.5,"status":"already-filled"},{"date":"01-01","sourceTitle":"Житие святого отца нашего Василия Великого, архиепископа Кесарийского","source":"minei","matchedCid":"772426","matchedName":"Свт. Василия Великого, Архиепископа Кесарии Каппадокийской","score":0.5714285714285714,"status":"already-filled"},{"date":"01-01","sourceTitle":"Память святого мученика Василия Анкирского","source":"minei","matchedCid":"772440","matchedName":"Мч. Василия Анкирского (ок. 362)","score":1,"status":"already-filled"},{"date":"01-01","sourceTitle":"Новый год. В настоящее время 1 января у нас начинается новый гражданский (см. 1 сент.) год.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0,"status":"unmatched"},{"date":"01-02","sourceTitle":"Житие преподобного отца нашего Серафима Саровского","source":"minei","matchedCid":"010202","matchedName":"Преставление (1833), второе обретение (1991) мощей прп. Серафима, Саровского чудотворца","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Житие святого отца нашего Сильвестра, папы Римского","source":"minei","matchedCid":"772455","matchedName":"Свт. Сильвестра, Папы Римского (335)","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Память святого священномученика Феогена, епископа Парийского","source":"minei","matchedCid":"772459","matchedName":"Сщмч. Феогена, еп Парийского (ок. 320)","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Предпра́зднство просвѣще́нїѧ. Из церковных песнопений этого дня.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0.2222222222222222,"status":"unmatched"},{"date":"01-03","sourceTitle":"Страдание святого мученика Гордия","source":"minei","matchedCid":"144","matchedName":"Мч. Гордия (IV)","score":1,"status":"already-filled"},{"date":"01-03","sourceTitle":"Память святого пророка Малахии","source":"minei","matchedCid":"143","matchedName":"Прор. Малахии (ок. 400 г. до Р.Х.)","score":1,"status":"already-filled"},{"date":"01-03","sourceTitle":"Препра́зднство просвѣще́нїѧ. Из церковных песнопений этого дня.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0,"status":"unmatched"},{"date":"01-04","sourceTitle":"Собор святых семидесяти Апостолов","source":"minei","matchedCid":"146","matchedName":"Собор 70-ти апостолов: Иакова, брата Господня, Марка и Луки евангелистов, Клеопы, Симеона, Варнавы(Иосифа), Варсавы(Иуста, Иосифа, Иосии), Фаддея, Анании, первомч. архидиакона Стефана, Филиппа, Прохора, Никанора, Тимона, Пармена, Тимофея, Тита, Филимона, Онисима, Епафраса, Архиппа, Силы, Силуана, Крискента, Криспа, Епенета, Андроника, Стахия, Амплия, Урвана, Наркисса, Апеллия, Аристовула, Родиона (Иродиона), Агава, Руфа, Асинкрита, Флегонта, Ерма, Патрова, Ермия, Лина, Гаия, Филолога, Лукия, Иасона, Сосипатра, Олимпа (Олимпана), Тертия, Ераста, Куарта, Евода, Онисифора, Климента, Сосфена, Аполлоса, Тихика, Епафродита, Карпа, Кодрата, Марка, Зины, Аристарха, Пуда, Трофима, Марка, Артемы, Акилы, Фортуната и Ахаика, Дионисия Ареопагита и Симеона Нигера,(Кифы, Кесаря и Алфея)","score":1,"status":"already-filled"},{"date":"01-04","sourceTitle":"Житие святого Евстафия, архиепископа Сербского","source":"minei","matchedCid":"714","matchedName":"Свт. Евстафия I, архиеп. Сербского (ок. 1285)","score":1,"status":"already-filled"},{"date":"01-04","sourceTitle":"Память святых преподобномученика Зосимы и мLine truncated
+[{"date":"01-01","sourceTitle":"Слово на Обрезание Христово","source":"minei","matchedCid":"010101","matchedName":"Обрезание Господне","score":0.5,"status":"already-filled"},{"date":"01-01","sourceTitle":"Житие святого отца нашего Василия Великого, архиепископа Кесарийского","source":"minei","matchedCid":"772426","matchedName":"Свт. Василия Великого, Архиепископа Кесарии Каппадокийской","score":0.5714285714285714,"status":"already-filled"},{"date":"01-01","sourceTitle":"Память святого мученика Василия Анкирского","source":"minei","matchedCid":"772440","matchedName":"Мч. Василия Анкирского (ок. 362)","score":1,"status":"already-filled"},{"date":"01-01","sourceTitle":"Новый год. В настоящее время 1 января у нас начинается новый гражданский (см. 1 сент.) год.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0,"status":"unmatched"},{"date":"01-02","sourceTitle":"Житие преподобного отца нашего Серафима Саровского","source":"minei","matchedCid":"010202","matchedName":"Преставление (1833), второе обретение (1991) мощей прп. Серафима, Саровского чудотворца","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Житие святого отца нашего Сильвестра, папы Римского","source":"minei","matchedCid":"772455","matchedName":"Свт. Сильвестра, Папы Римского (335)","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Память святого священномученика Феогена, епископа Парийского","source":"minei","matchedCid":"772459","matchedName":"Сщмч. Феогена, еп Парийского (ок. 320)","score":1,"status":"already-filled"},{"date":"01-02","sourceTitle":"Предпра́зднство просвѣще́нїѧ. Из церковных песнопений этого дня.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0.2222222222222222,"status":"unmatched"},{"date":"01-03","sourceTitle":"Страдание святого мученика Гордия","source":"minei","matchedCid":"144","matchedName":"Мч. Гордия (IV)","score":1,"status":"already-filled"},{"date":"01-03","sourceTitle":"Память святого пророка Малахии","source":"minei","matchedCid":"143","matchedName":"Прор. Малахии (ок. 400 г. до Р.Х.)","score":1,"status":"already-filled"},{"date":"01-03","sourceTitle":"Препра́зднство просвѣще́нїѧ. Из церковных песнопений этого дня.","source":"bulgakov","matchedCid":null,"matchedName":null,"score":0,"status":"unmatched"},{"date":"01-04","sourceTitle":"Собор святых семидесяти Апостолов","source":"minei","matchedCid":"146","matchedName":"Собор 70-ти апостолов: Иакова, брата Господня, Марка и Луки евангелистов, Клеопы, Симеона, Варнавы(Иосифа), Варсавы(Иуста, Иосифа, Иосии), Фаддея, Анании, первомч. архидиакона Стефана, Филиппа, Прохора, Никанора, Тимона, Пармена, Тимофея, Тита, Филимона, Онисима, Епафраса, Архиппа, Силы, Силуана, Крискента, Криспа, Епенета, Андроника, Стахия, Амплия, Урвана, Наркисса, Апеллия, Аристовула, Родиона (Иродиона), Агава, Руфа, Асинкрита, Флегонта, Ерма, Патрова, Ермия, Лина, Гаия, Филолога, Лукия, Иасона, Сосипатра, Олимпа (Олимпана), Тертия, Ераста, Куарта, Евода, Онисифора, Климента, Сосфена, Аполлоса, Тихика, Епафродита, Карпа, Кодрата, Марка, Зины, Аристарха, Пуда, Трофима, Марка, Артемы, Акилы, Фортуната и Ахаика, Дионисия Ареопагита и Симеона Нигера,(Кифы, Кесаря и Алфея)","score":1,"status":"already-filled"},{"date":"01-04","sourceTitle":"Житие святого Евстафия, архиепископа Сербского","source":"minei","matchedCid":"714","matchedName":"Свт. Евстафия I, архиеп. Сербского (ок. 1285)","score":1,"status":"already-filled"},{"date":"01-04","sourceTitle":"Память святых преподобномученика Зосимы и мLine truncated