From a2bf0c54eee7bb68f55df434b8ef3cc81df5400d Mon Sep 17 00:00:00 2001 From: Valerian Saliou Date: Mon, 22 Jul 2024 22:53:09 +0200 Subject: [PATCH] Polish merged stopwords --- README.md | 3 +- src/stopwords/mal.rs | 213 +++++++++++++++++++++---------------------- 2 files changed, 108 insertions(+), 108 deletions(-) diff --git a/README.md b/README.md index 406b6649..465718bd 100644 --- a/README.md +++ b/README.md @@ -267,6 +267,7 @@ Sonic supports a wide range of languages in its lexing system. If a language is * ๐Ÿณ Latin * ๐Ÿ‡ฑ๐Ÿ‡ป Latvian * ๐Ÿ‡ฑ๐Ÿ‡น Lithuanian +* ๐Ÿ‡ฎ๐Ÿ‡ณ Malayalam * ๐Ÿ‡ฎ๐Ÿ‡ณ Marathi * ๐Ÿ‡ณ๐Ÿ‡ต Nepali * ๐Ÿ‡ฎ๐Ÿ‡ท Persian @@ -274,7 +275,7 @@ Sonic supports a wide range of languages in its lexing system. If a language is * ๐Ÿ‡ต๐Ÿ‡น Portuguese * ๐Ÿ‡ฎ๐Ÿ‡ณ Punjabi * ๐Ÿ‡ท๐Ÿ‡บ Russian -* ๐Ÿ‡ท๐Ÿ‡ธ Serbian (latin) +* ๐Ÿ‡ท๐Ÿ‡ธ Serbian * ๐Ÿ‡ธ๐Ÿ‡ฐ Slovak * ๐Ÿ‡ธ๐Ÿ‡ฎ Slovene * ๐Ÿ‡ช๐Ÿ‡ธ Spanish diff --git a/src/stopwords/mal.rs b/src/stopwords/mal.rs index 124a12ae..fe0a90f0 100644 --- a/src/stopwords/mal.rs +++ b/src/stopwords/mal.rs @@ -4,7 +4,6 @@ // Copyright: 2019, Valerian Saliou // License: Mozilla Public License v2.0 (MPL v2.0) -// Notice: we do not have stopwords for this language yet. pub static STOPWORDS_MAL: &[&str] = &[ "เด•เดพเดฃเดพเดจเตโ€", "เดจเดฟเดจเตเดจเต", @@ -15,110 +14,110 @@ pub static STOPWORDS_MAL: &[&str] = &[ "เดˆ", "เด•เต‚เดŸเตเดคเดฒเตโ€", "เดคเดพเด™เตเด•เดณเตโ€", - "เดŽเดจเตเดจเดพเดฒเต", - "เด…เดคเดฟเดจเต", - "เดถเต‡เดทเด‚", - "เดšเต†เดฏเตเดฏเตเดจเตเดจเต", - "เด‡เดตเดฟเดŸเดคเตเดคเต†", - "เดตเต‡เดฃเตเดŸเดฟ", - "เดเดฑเตเดฑเดตเตเด‚", - "เด‡เดคเดฟเดฒเต", - "เดตเต‡เดฃเตเดŸเดฟเดฏเตเด‚", - "เด†เดฃเต", - "เดธเตเดฅเดฟเดคเดฟเดšเต†เดฏเตเดฏเตเดจเตเดจเต", - "เดธเตเดฅเดฟเดคเดฟ", - "เดธเตเดฅเดฟเดคเดฟเดšเต†เดฏเตเดฏเตเดจเตเดจ", - "เดšเต†เดฏเตเดฏเดฃเด‚", - "เดจเดฎเตเดฎเตเดŸเต†", - "เด‡เดชเตเดชเต‹เดณเต", - "เด’เดฐเต", - "เดคเดจเตเดฑเต†", - "เดšเต†เดฏเตเดฏเตเดจเตเดจ", - "เดŽเดจเตเดจ", - "เดšเต†เดฏเตเดฏเตเดจเตเดจเดคเต", - "เด‰เดฃเตเดŸเต", - "เดฎเตเดจเตโ€เดชเต", - "เดฎเตเดฎเตเดชเต", - "เด•เต‚เดŸเต†", - "เดšเต‡เดฐเตโ€เดคเตเดคเต", - "เด‡เดชเตเดฐเด•เดพเดฐเด‚", - "เดŽเดจเตเดจเดฟเดตเดฏเตเดŸเต†", - "เด•เดดเดฟเดฏเตเด‚", - "เดŽเดจเตเดจเต€", - "เด‡เดคเดพเดฃเต", - "เดตเดณเดฐเต†", - "เด•เดพเดฐเดฃเด‚", - "เด‡เดตเดฟเดŸเดคเตเดคเต†", - "เดŽเดชเตเดชเต‹เดดเตเด‚", - "เด•เตŠเดฃเตเดŸเต", - "เดจเดฒเตเดฒ", - "เดงเดพเดฐเดพเดณเด‚", - "เดŽเดชเตเดชเต‹เดดเตเด‚", - "เด‡เดต", - "เด•เดพเดฐเดฃเด‚", - "เด‡เดคเต", - "เดฎเดพเดคเตเดฐเดฎเดฒเตเดฒ", - "เดฎเดฑเตเดฑเต", - "เดŽเดจเตเดจเดฟเดต", - "เด•เต‚เดŸเดฟเดฏเดพเดฃเต", - "เด‡เดŸเดฏเดฟเดฒเต", - "เด‡เดฒเตเดฒ", - "เดŽเดจเตเดจเดพเดฃเต", - "เดŽเดจเตเดจเต", - "เด•เตเดฑเดšเตเดšเต", - "เด…เดคเดพเดฏเดคเต", - "เดŽเดจเตเดคเต†เดจเตเดจเดพเดฒเต", - "เดŽเดจเตเดจเดฑเดฟเดฏเดชเตเดชเต†เดŸเตเดจเตเดจเต", - "เด•เดฟเดŸเด•เตเด•เตเดจเตเดจ", - "เดชเต‹เดฏเดพเดฒเต", - "เด‡เดคเต", - "เดŽเดฒเตเดฒเดพ", - "เดตเต‡เดฃเตเดŸเดฟ", - "เด‡เดตเดฟเดŸเต†", - "เดตเดฐเตเดจเตเดจเต", - "เดชเต‹เดฒเตเดณเตเดณ", - "เดตเดฒเดฟเดฏ", - "เดชเดฑเดžเตเดžเต", - "เด‡เดคเดฟเดจเต†", - "เด•เตŠเดŸเตเดคเตเดคเดฟเดŸเตเดŸเตเด‚", - "เดŽเดจเตเดจเต", - "เดตเต‡เดฃเด‚", - "เด’เดฐเตเดชเต‹เดฒเต†", - "เด’เดฐเต เดชเต‹เดฒเต†", - "เด•เดพเดฐเตเดฏเดฎเดพเดฃเต", - "เด•เดดเดฟเดฏเตเดจเตเดจเต", - "เดตเดณเดฐเต†", - "เด…เดงเดฟเด•เด‚", - "เดตเดณเดฐเต† เด…เดงเดฟเด•เด‚", - "เดตเดณเดฐเต†เดฏเดงเดฟเด•เด‚", - "เดชเต‹เดฏเดฟ", - "เด‰เดฃเตเดŸเดพเด•เตเดจเตเดจเตเดฃเตเดŸเต", - "เดชเด•เตเดทเต‡", - "เด…เดคเต‡", - "เด•เตŠเดฃเตเดŸเต", - "เดเดคเต", - "เดจเดฟเดจเตเดจเตเด‚", - "เดŽเดคเตเดคเดพเดจเตโ€", - "เด…เดŸเตเดคเตเดคเต", - "เด†เดฏเดฟ", - "เดŽเดจเตเดจเต เดชเดฑเดฏเตเดจเตเดจเต", - "เด‡เดชเตเดชเต‹เตพ", - "เดเด•เดฆเต‡เดถเด‚", - "เดŽเดจเตเดจเตเดชเดฑเดฏเตเดจเตเดจเต", - "เด•เดพเดฃเดพเตป", - "เด†", - "เดตเดฟเดตเดฟเดง", - "เด‡เดคเดฟเดจเตเดฑเต†", - "เดจเดฟเดจเตเดจเต", - "เด‡เดคเดฟเดจเต", - "เด…เดŸเตเดคเตเดค", - "เด…เดŸเตเดคเตเดคเตเดณเตเดณ", - "เดชเดฒ", - "เดชเตเดฐเดงเดพเดจ", - "เดจเดฟเดฒเดจเดฟเตฝเด•เตเด•เตเดจเตเดจ", - "เดจเดฟเดฒเดจเดฟเตฝเด•เตเด•เตเดจเตเดจเดคเต", - "เดฎเตเดคเดฒเดพเดฏเดต", - "เดฎเตเดคเดฒเดพเดฏเดตเด•เตเด•เต", - "เดตเต‡เดฃเตเดŸ", - "เดชเตเดฐเดพเดงเดพเดจเตเดฏเด‚" + "เดŽเดจเตเดจเดพเดฒเต", + "เด…เดคเดฟเดจเต", + "เดถเต‡เดทเด‚", + "เดšเต†เดฏเตเดฏเตเดจเตเดจเต", + "เด‡เดตเดฟเดŸเดคเตเดคเต†", + "เดตเต‡เดฃเตเดŸเดฟ", + "เดเดฑเตเดฑเดตเตเด‚", + "เด‡เดคเดฟเดฒเต", + "เดตเต‡เดฃเตเดŸเดฟเดฏเตเด‚", + "เด†เดฃเต", + "เดธเตเดฅเดฟเดคเดฟเดšเต†เดฏเตเดฏเตเดจเตเดจเต", + "เดธเตเดฅเดฟเดคเดฟ", + "เดธเตเดฅเดฟเดคเดฟเดšเต†เดฏเตเดฏเตเดจเตเดจ", + "เดšเต†เดฏเตเดฏเดฃเด‚", + "เดจเดฎเตเดฎเตเดŸเต†", + "เด‡เดชเตเดชเต‹เดณเต", + "เด’เดฐเต", + "เดคเดจเตเดฑเต†", + "เดšเต†เดฏเตเดฏเตเดจเตเดจ", + "เดŽเดจเตเดจ", + "เดšเต†เดฏเตเดฏเตเดจเตเดจเดคเต", + "เด‰เดฃเตเดŸเต", + "เดฎเตเดจเตโ€เดชเต", + "เดฎเตเดฎเตเดชเต", + "เด•เต‚เดŸเต†", + "เดšเต‡เดฐเตโ€เดคเตเดคเต", + "เด‡เดชเตเดฐเด•เดพเดฐเด‚", + "เดŽเดจเตเดจเดฟเดตเดฏเตเดŸเต†", + "เด•เดดเดฟเดฏเตเด‚", + "เดŽเดจเตเดจเต€", + "เด‡เดคเดพเดฃเต", + "เดตเดณเดฐเต†", + "เด•เดพเดฐเดฃเด‚", + "เด‡เดตเดฟเดŸเดคเตเดคเต†", + "เดŽเดชเตเดชเต‹เดดเตเด‚", + "เด•เตŠเดฃเตเดŸเต", + "เดจเดฒเตเดฒ", + "เดงเดพเดฐเดพเดณเด‚", + "เดŽเดชเตเดชเต‹เดดเตเด‚", + "เด‡เดต", + "เด•เดพเดฐเดฃเด‚", + "เด‡เดคเต", + "เดฎเดพเดคเตเดฐเดฎเดฒเตเดฒ", + "เดฎเดฑเตเดฑเต", + "เดŽเดจเตเดจเดฟเดต", + "เด•เต‚เดŸเดฟเดฏเดพเดฃเต", + "เด‡เดŸเดฏเดฟเดฒเต", + "เด‡เดฒเตเดฒ", + "เดŽเดจเตเดจเดพเดฃเต", + "เดŽเดจเตเดจเต", + "เด•เตเดฑเดšเตเดšเต", + "เด…เดคเดพเดฏเดคเต", + "เดŽเดจเตเดคเต†เดจเตเดจเดพเดฒเต", + "เดŽเดจเตเดจเดฑเดฟเดฏเดชเตเดชเต†เดŸเตเดจเตเดจเต", + "เด•เดฟเดŸเด•เตเด•เตเดจเตเดจ", + "เดชเต‹เดฏเดพเดฒเต", + "เด‡เดคเต", + "เดŽเดฒเตเดฒเดพ", + "เดตเต‡เดฃเตเดŸเดฟ", + "เด‡เดตเดฟเดŸเต†", + "เดตเดฐเตเดจเตเดจเต", + "เดชเต‹เดฒเตเดณเตเดณ", + "เดตเดฒเดฟเดฏ", + "เดชเดฑเดžเตเดžเต", + "เด‡เดคเดฟเดจเต†", + "เด•เตŠเดŸเตเดคเตเดคเดฟเดŸเตเดŸเตเด‚", + "เดŽเดจเตเดจเต", + "เดตเต‡เดฃเด‚", + "เด’เดฐเตเดชเต‹เดฒเต†", + "เด’เดฐเต เดชเต‹เดฒเต†", + "เด•เดพเดฐเตเดฏเดฎเดพเดฃเต", + "เด•เดดเดฟเดฏเตเดจเตเดจเต", + "เดตเดณเดฐเต†", + "เด…เดงเดฟเด•เด‚", + "เดตเดณเดฐเต† เด…เดงเดฟเด•เด‚", + "เดตเดณเดฐเต†เดฏเดงเดฟเด•เด‚", + "เดชเต‹เดฏเดฟ", + "เด‰เดฃเตเดŸเดพเด•เตเดจเตเดจเตเดฃเตเดŸเต", + "เดชเด•เตเดทเต‡", + "เด…เดคเต‡", + "เด•เตŠเดฃเตเดŸเต", + "เดเดคเต", + "เดจเดฟเดจเตเดจเตเด‚", + "เดŽเดคเตเดคเดพเดจเตโ€", + "เด…เดŸเตเดคเตเดคเต", + "เด†เดฏเดฟ", + "เดŽเดจเตเดจเต เดชเดฑเดฏเตเดจเตเดจเต", + "เด‡เดชเตเดชเต‹เตพ", + "เดเด•เดฆเต‡เดถเด‚", + "เดŽเดจเตเดจเตเดชเดฑเดฏเตเดจเตเดจเต", + "เด•เดพเดฃเดพเตป", + "เด†", + "เดตเดฟเดตเดฟเดง", + "เด‡เดคเดฟเดจเตเดฑเต†", + "เดจเดฟเดจเตเดจเต", + "เด‡เดคเดฟเดจเต", + "เด…เดŸเตเดคเตเดค", + "เด…เดŸเตเดคเตเดคเตเดณเตเดณ", + "เดชเดฒ", + "เดชเตเดฐเดงเดพเดจ", + "เดจเดฟเดฒเดจเดฟเตฝเด•เตเด•เตเดจเตเดจ", + "เดจเดฟเดฒเดจเดฟเตฝเด•เตเด•เตเดจเตเดจเดคเต", + "เดฎเตเดคเดฒเดพเดฏเดต", + "เดฎเตเดคเดฒเดพเดฏเดตเด•เตเด•เต", + "เดตเต‡เดฃเตเดŸ", + "เดชเตเดฐเดพเดงเดพเดจเตเดฏเด‚", ];