Fix Panjabi.

lcnetdev · Dec 25, 2024 · 57d3df9 · 57d3df9
1 parent bce4d4a
commit 57d3df9
Show file tree

Hide file tree

Showing 4 changed files with 32 additions and 38 deletions.
diff --git a/scriptshifter/tables/data/panjabi.yml → ...tshifter/tables/data/panjabi_gurmukhi.yml b/scriptshifter/tables/data/panjabi.yml → ...tshifter/tables/data/panjabi_gurmukhi.yml
@@ -1,18 +1,18 @@
 ---
 general:
-  name: Panjabi
+  name: Panjabi (Gurmukhi)
   case_sensitive: false
 
 script_to_roman:
   hooks:
     post_config:
       -
         - aksharamukha.romanizer.s2r_post_config
-        - src_script: "Punjabi"
+        - src_script: "Gurmukhi"
 
 roman_to_script:
   hooks:
     post_config:
       -
         - aksharamukha.romanizer.r2s_post_config
-        - dest_script: "Punjabi"
+        - dest_script: "Gurmukhi"
diff --git a/scriptshifter/tables/index.yml b/scriptshifter/tables/index.yml
@@ -200,9 +200,9 @@ ossetic_cyrillic:
 pali:
   marc_code: pli
   name: Pali
-panjabi:
+panjabi_gurmukhi:
   marc_code: pan
-  name: Panjabi
+  name: Panjabi (Gurmukhi)
 persian:
   marc_code: per
   name: Persian

diff --git a/test/data/script_samples/sea.csv b/test/data/script_samples/sea.csv
@@ -120,26 +120,26 @@ raṅgamañca digdarśaka jayanta ","संगीत संशय कल्ल
 "nepali_devanagari","smr̥tibimba : paṇḍita ṭekanātha  bhaṭṭarāī /  sampādana, ḍā tulasī bhaṭṭarāī","स्मृतिबिम्ब : पण्डित टेकनाथ भट्टराई / सम्पादन, डा तुलसी भट्टराई","r2s"
 "nepali_devanagari","पल पलको मृत्यु / संस्मरण / सुदन किराती काठमाडौं : घोस्ट राइटिङ नेपाल","pala palako mr̥tyu / saṃsmaraṇa / sudana kirātī kāṭhamāḍauṃ : ghosṭa rāiṭiṅa nepāla","s2r"
 "nepali_devanagari","स्मृतिबिम्ब : पण्डित टेकनाथ भट्टराई","smr̥tibimba : paṇḍita ṭekanātha bhaṭṭarāī","s2r"
-"panjabi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī",
-"panjabi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : ‡b māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe",
-"panjabi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha",
-"panjabi","ਮੁੱਢਲਾ ਪੰਜਾਬੀ ਨਾਵਲ : ਪੁਨਰ-ਮੁਲਾਙ੍ਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ। ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / Ḍā. Rekhā Rāṇī.",
-"panjabi","ਨੋ ਮੈਨਜ਼-ਲੈਣ੍ਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā",
-"panjabi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ‡b ghum̆madiāṃ phiradiāṃ",
-"panjabi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī",
-"panjabi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : ‡b jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ",
-"panjabi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ",
-"panjabi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ",
-"panjabi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī",
-"panjabi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe",
-"panjabi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha",
-"panjabi","ਮੁੱਢਲਾ ਸਿੰਘ ਨਾਵਲ : ਪੁਨਰ- ਮੁਲਾਂਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ. ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / ḍā. Rekhā Rāṇī.",
-"panjabi","ਨੋ ਮੈਨਜ਼-ਲੈਂਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā",
-"panjabi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ghum̆madiāṃ phiradiāṃ",
-"panjabi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī",
-"panjabi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ",
-"panjabi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ",
-"panjabi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ",
+"panjabi_gurmukhi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī",
+"panjabi_gurmukhi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : ‡b māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe",
+"panjabi_gurmukhi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha",
+"panjabi_gurmukhi","ਮੁੱਢਲਾ ਪੰਜਾਬੀ ਨਾਵਲ : ਪੁਨਰ-ਮੁਲਾਙ੍ਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ। ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / Ḍā. Rekhā Rāṇī.",
+"panjabi_gurmukhi","ਨੋ ਮੈਨਜ਼-ਲੈਣ੍ਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā",
+"panjabi_gurmukhi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ‡b ghum̆madiāṃ phiradiāṃ",
+"panjabi_gurmukhi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī",
+"panjabi_gurmukhi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : ‡b jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ",
+"panjabi_gurmukhi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ",
+"panjabi_gurmukhi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ",
+"panjabi_gurmukhi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī",
+"panjabi_gurmukhi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe",
+"panjabi_gurmukhi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha",
+"panjabi_gurmukhi","ਮੁੱਢਲਾ ਸਿੰਘ ਨਾਵਲ : ਪੁਨਰ- ਮੁਲਾਂਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ. ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / ḍā. Rekhā Rāṇī.",
+"panjabi_gurmukhi","ਨੋ ਮੈਨਜ਼-ਲੈਂਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā",
+"panjabi_gurmukhi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ghum̆madiāṃ phiradiāṃ",
+"panjabi_gurmukhi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī",
+"panjabi_gurmukhi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ",
+"panjabi_gurmukhi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ",
+"panjabi_gurmukhi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ",
 "sanskrit_devanagari","अद्वैतवेदान्ते श्री श्री सच्चिदानन्देन्द्रसरस्वतीमहास्वामिनां योगदानम्","advaitavedānte śrī śrī saccidānandendrasarasvatīmahāsvāmināṃ yogadānam",
 "sanskrit_devanagari","अनुसन्धानसम्पादनप्रविधिः","anusandhānasampādanapravidhiḥ",
 "sanskrit_devanagari","जयसिंहगुणवर्णनम्, अपरनाम, जयप्रशस्ति","jayasiṃhaguṇavarṇanam, aparanāma, jayapraśasti",
@@ -160,19 +160,13 @@ raṅgamañca digdarśaka jayanta ","संगीत संशय कल्ल
 "sinhalese","අබය මුද්රා ව : ඩබ්ලියු.ඒ. අබේසිoහගේ සමා ජ සා හිත්ය මෙහෙවර","Abaya mudrāva : Ḍabliyu.Ē. Abēsimhagē samāja sāhitya mehevara",
 "sinhalese","නන්දිකඩා ල් දක්වා   පා ර කැ පුවේ කවුරුන්ද?","Nandikaḍāl dakvā pāra kăpuvē kavurunda?",
 "sinhalese","පුරා විද්යා ස්ථා න නමා වලිය : කෑ ගල්ල දිස්ත්රික්කය","Purāvidyā sthāna namāvaliya : Kâgalla distrikkaya",
-"tamil","மணிக்கொடி இதழ் தொகுப்பு
-","Maṇikkoṭi ital̲ tokuppu",
-"tamil","சுந்தர ராமசாமி சிறுகதைகள்
-","Cuntara Rāmacāmi cir̲ukataikaḷ",
+"tamil","மணிக்கொடி இதழ் தொகுப்ப","Maṇikkoṭi ital̲ tokuppu",
+"tamil","சுந்தர ராமசாமி சிறுகதைகள்","Cuntara Rāmacāmi cir̲ukataikaḷ",
 "tamil","வானம் வசப்படும்","Vān̲am vacappaṭum",
-"tamil","சிவப்புக் கழுத்துடன் ஒரு பச்சைப்  பறவை
-","Civappuk kal̲uttutan̲ oru paccaip par̲avai",
-"tamil","தீண்டப்படாத முத்தம்
-","Tīṇṭappaṭāta muttam",
-"tamil","ஜி. நாகராஜன்̲ சிறுகதைகள்
-","Ji. Nākarājan̲ cir̲ukataikaḷ",
-"tamil","அவ்வை மண்ணில் பெண் எழுத்தாளர்கள் : பெண் எழுத்தாளர்கள் சந்திப்பு, 2000 கருத்தரங்கக் கட்டுரைகள்
-","Avvai maṇṇil peṇ el̲uttāḷarkaḷ : peṇ el̲uttāḷarkaḷ cantippu, 2000 karuttaraṅkak kaṭṭuraikaḷ",
+"tamil","சிவப்புக் கழுத்துடன் ஒரு பச்சைப்  பறவை","Civappuk kal̲uttutan̲ oru paccaip par̲avai",
+"tamil","தீண்டப்படாத முத்தம்","Tīṇṭappaṭāta muttam",
+"tamil","ஜி. நாகராஜன்̲ சிறுகதைகள்","Ji. Nākarājan̲ cir̲ukataikaḷ",
+"tamil","அவ்வை மண்ணில் பெண் எழுத்தாளர்கள் : பெண் எழுத்தாளர்கள் சந்திப்பு, 2000 கருத்தரங்கக் கட்டுரைகள்","Avvai maṇṇil peṇ el̲uttāḷarkaḷ : peṇ el̲uttāḷarkaḷ cantippu, 2000 karuttaraṅkak kaṭṭuraikaḷ",
 "tamil","ஐந்து வருட மௌனம் : சிறுகதைத் தொகுப்பு","Aintu varuṭa maun̲am : cir̲ukatait tokuppu",
 "tamil","உ. வே. சாமிநாதையர் கடிதக் கருவூலம்","U. Vē. Cāminātaiyar kaṭitak karuvūlam",
 "tamil","அர்ச்சுனனின் தமிழ்க் காதலிகள் : மகாபாரதம் பற்றிய நாட்டார் கதைகள்","Arccunan̲in̲ Tamil̲k kātalikaḷ : Makāpāratam par̲r̲iya nāṭṭār kataikaḷ",

diff --git a/test/integration.py b/test/integration.py
@@ -28,7 +28,6 @@ def test_sample(dset):
         i = 1
         for row in csv:
             logger.debug(f"CSV row #{i}")
-            i += 1
             lang, script, rom = row[:3]
             if not lang:
                 continue
@@ -40,6 +39,7 @@ def test_sample(dset):
             else:
                 _trans(script, lang, "s2r", opts, rom, deltas)
                 _trans(rom, lang, "r2s", opts, script, deltas)
+            i += 1
 
     with open(log_fpath, "w") as fh:
         # If no deltas, just truncate the file.