diff --git a/lnx-engine/search-index/datasets/stop_words/README.md b/lnx-engine/search-index/datasets/stop_words/README.md new file mode 100644 index 00000000..94325d41 --- /dev/null +++ b/lnx-engine/search-index/datasets/stop_words/README.md @@ -0,0 +1,29 @@ +# About +The following files have been sourced from https://github.com/snowballstem/snowball-website/tree/master/algorithms and are subject to the licence enclose herein. +* de.txt +* es.txt +* fr.txt +* it.txt +* ru.txt + +# Conversion +Example for German: +```bash + curl https://raw.githubusercontent.com/snowballstem/snowball-website/master/algorithms/german/stop.txt | sed 's/^\([^ ]*\).*/\1/g' | grep -v '^$' | head -c -1 | sort > de.txt + ``` + + +# License +Copyright (c) 2001, Dr Martin Porter, +Copyright (c) 2002, Richard Boulton. +All rights reserved. + +Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: + +1. Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. + +2. Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. + +3. Neither the name of the copyright holder nor the names of its contributors may be used to endorse or promote products derived from this software without specific prior written permission. + +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. diff --git a/lnx-engine/search-index/datasets/stop_words/de.txt b/lnx-engine/search-index/datasets/stop_words/de.txt index 22eff328..32bd4adb 100644 --- a/lnx-engine/search-index/datasets/stop_words/de.txt +++ b/lnx-engine/search-index/datasets/stop_words/de.txt @@ -1,7 +1,23 @@ aber +alle +allem +allen +aller +alles als +also am an +ander +andere +anderem +anderen +anderer +anderes +anderm +andern +anderr +anders auch auf aus @@ -10,24 +26,41 @@ bin bis bist da -dadurch -daher -darum +damit +dann das +dasselbe +dazu daß -dass dein deine +deinem +deinen +deiner +deines dem +demselben den +denn +denselben der +derer +derselbe +derselben des +desselben dessen -deshalb +dich die dies +diese +dieselbe +dieselben +diesem +diesen dieser dieses +dir doch dort du @@ -38,90 +71,161 @@ einem einen einer eines +einig +einige +einigem +einigen +einiger +einiges +einmal er es +etwas +euch euer eure +eurem +euren +eurer +eures für +gegen +gewesen +hab +habe +haben +hat hatte hatten -hattest -hattet -hier hinter +hier +hin +hinter ich +ihm +ihn +ihnen ihr ihre +ihrem +ihren +ihrer +ihres im in +indem +ins ist -ja jede jedem jeden jeder jedes +jene +jenem +jenen jener jenes jetzt kann -kannst +kein +keine +keinem +keinen +keiner +keines können -könnt +könnte machen +man +manche +manchem +manchen +mancher +manches mein meine +meinem +meinen +meiner +meines +mich +mir mit -muß -mußt -musst -müssen -müßt +muss +musste nach -nachdem -nein nicht +nichts +noch nun +nur +ob oder -seid +ohne +sehr sein seine +seinem +seinen +seiner +seines +selbst sich sie sind +so +solche +solchem +solchen +solcher +solches soll -sollen -sollst -sollt +sollte +sondern sonst -soweit -sowie +um und -unser unsere +uns +unse +unsem +unsen +unser +unses unter +viel vom von vor -wann -warum +war +waren +warst was +weg +weil weiter -weitere +welche +welchem +welchen +welcher +welches wenn -wer werde werden -werdet -weshalb wie wieder -wieso +will wir wird wirst wo -woher -wohin +wollen +wollte +während +würde +würden zu zum zur -über \ No newline at end of file +zwar +zwischen +über diff --git a/lnx-engine/search-index/datasets/stop_words/es.txt b/lnx-engine/search-index/datasets/stop_words/es.txt index 5883f466..e5ded93c 100644 --- a/lnx-engine/search-index/datasets/stop_words/es.txt +++ b/lnx-engine/search-index/datasets/stop_words/es.txt @@ -1,176 +1,308 @@ -un -una -unas -unos -uno -sobre -todo -también -tras -otro -algún -alguno -alguna -algunos +a +al +algo algunas -ser -es -soy -eres -somos -sois -estoy -esta -estamos -estais -estan +algunos +ante +antes como +con +contra +cual +cuando +de +del +desde +donde +durante +e +el +ella +ellas +ellos en -para -atras -porque -por qué -estado +entre +era +erais +eran +eras +eres +es +esa +esas +ese +eso +esos +esta estaba -ante -antes -siendo -ambos -pero -por -poder -puede -puedo -podemos -podeis -pueden -fui +estabais +estaban +estabas +estad +estada +estadas +estado +estados +estamos +estando +estar +estaremos +estará +estarán +estarás +estaré +estaréis +estaría +estaríais +estaríamos +estarían +estarías +estas +este +estemos +esto +estos +estoy +estuve +estuviera +estuvierais +estuvieran +estuvieras +estuvieron +estuviese +estuvieseis +estuviesen +estuvieses +estuvimos +estuviste +estuvisteis +estuviéramos +estuviésemos +estuvo +está +estábamos +estáis +están +estás +esté +estéis +estén +estés fue -fuimos +fuera +fuerais +fueran +fueras fueron -hacer -hago -hace -hacemos -haceis -hacen -cada -fin -incluso -primero desde -conseguir -consigo -consigue -consigues -conseguimos -consiguen -ir -voy -va -vamos -vais -van -vaya -gueno +fuese +fueseis +fuesen +fueses +fui +fuimos +fuiste +fuisteis +fuéramos +fuésemos ha -tener -tengo -tiene -tenemos -teneis -tienen -el +habida +habidas +habido +habidos +habiendo +habremos +habrá +habrán +habrás +habré +habréis +habría +habríais +habríamos +habrían +habrías +habéis +había +habíais +habíamos +habían +habías +han +has +hasta +hay +haya +hayamos +hayan +hayas +hayáis +he +hemos +hube +hubiera +hubierais +hubieran +hubieras +hubieron +hubiese +hubieseis +hubiesen +hubieses +hubimos +hubiste +hubisteis +hubiéramos +hubiésemos +hubo la -lo las +le +les +lo los -su -aqui -mio -tuyo -ellos -ellas -nos -nosotros -vosotros -vosotras -si -dentro -solo -solamente -saber -sabes -sabe -sabemos -sabeis -saben -ultimo -largo -bastante -haces +me +mi +mis +mucho muchos -aquellos -aquellas -sus -entonces -tiempo -verdad -verdadero -verdadera cierto -ciertos -cierta -ciertas -intentar -intento -intenta -intentas -intentamos -intentais -intentan -dos -bajo -arriba -encima -usar -uso -usas -usa -usamos -usais -usan -emplear -empleo -empleas -emplean -ampleamos -empleais -valor muy -era -eras -eramos -eran -modo -bien -cual -cuando -donde -mientras +más +mí +mía +mías +mío +míos +nada +ni +no +nos +nosotras +nosotros +nuestra +nuestras +nuestro +nuestros +o +os +otra +otras +otro +otros +para +pero +poco +por +porque +que quien -con -entre +quienes +qué +se +sea +seamos +sean +seas +seremos +será +serán +serás +seré +seréis +sería +seríais +seríamos +serían +serías +seáis +sido +siendo sin -trabajo -trabajar -trabajas -trabaja -trabajamos -trabajais -trabajan -podria -podrias -podriamos -podrian -podriais +sobre +sois +somos +son +soy +su +sus +suya +suyas +suyo +suyos +sí +también +tanto +te +tendremos +tendrá +tendrán +tendrás +tendré +tendréis +tendría +tendríais +tendríamos +tendrían +tendrías +tened +tenemos +tenga +tengamos +tengan +tengas +tengo +tengáis +tenida +tenidas +tenido +tenidos +teniendo +tenéis +tenía +teníais +teníamos +tenían +tenías +ti +tiene +tienen +tienes +todo +todos +tu +tus +tuve +tuviera +tuvierais +tuvieran +tuvieras +tuvieron +tuviese +tuvieseis +tuviesen +tuvieses +tuvimos +tuviste +tuvisteis +tuviéramos +tuviésemos +tuvo +tuya +tuyas +tuyo +tuyos +tú +un +una +uno +unos +vosotras +vosotros +vuestra +vuestras +vuestro +vuestros +y +ya yo -aquel \ No newline at end of file +él +éramos diff --git a/lnx-engine/search-index/datasets/stop_words/fr.txt b/lnx-engine/search-index/datasets/stop_words/fr.txt index b919f759..0010908e 100644 --- a/lnx-engine/search-index/datasets/stop_words/fr.txt +++ b/lnx-engine/search-index/datasets/stop_words/fr.txt @@ -1,114 +1,154 @@ -alors +ai +aie +aient +aies +ait au -aucuns -aussi -autre -avant +aurai +auraient +aurais +aurait +aurez +auriez +aurions +aurons +auront +aux +avaient +avais +avait avec -avoir -bon -car +avez +aviez +avons +ayant +ayez +ayons +c ce +ceci cela +celà ces -ceux -chaque -ci -comme -comment +cet +cette +d dans +de des du -dedans -dehors -depuis -devrait -doit -donc -dos -début elle -elles en -encore -essai -est +es et eu -fait -faites -fois -font -hors +eue +eues +eurent +eus +eusse +eussent +eusses +eussiez +eussions +eut +eux +eûmes +eût +eûtes +furent +fus +fusse +fussent +fusses +fussiez +fussions +fut +fûmes +fûtes ici il ils -je juste +j +je +l la le les leur -là +leurs +lui +m ma -maintenant mais +me mes -mien -moins +moi mon -mot même -ni -nommés +n +ne +nos notre nous +on +ont ou -où par -parce pas -peut -peu -plupart pour -pourquoi -quand +qu que quel quelle quelles quels qui +s sa sans +se +sera +serai +seraient +serais +serait +seras +serez +seriez +serions +serons +seront ses -seulement -si -sien -son +soi +soient +sois +soit sont -sous -soyez sujet +soyez +soyons +suis sur +t ta -tandis -tellement -tels +te tes +toi ton -tous -tout -trop -très tu -voient -vont +un +une +vos votre vous -vu -ça +y +à étaient -état +étais +était +étant +étiez étions -été -être \ No newline at end of file +étée +étées +êtes diff --git a/lnx-engine/search-index/datasets/stop_words/he.txt b/lnx-engine/search-index/datasets/stop_words/he.txt index ec5980a2..df5d0d2d 100644 --- a/lnx-engine/search-index/datasets/stop_words/he.txt +++ b/lnx-engine/search-index/datasets/stop_words/he.txt @@ -196,7 +196,8 @@ לגבי בבית אחרת -לפי ללא +לפי +ללא שנים הזמן שמן @@ -395,7 +396,8 @@ הדבר תהיה מגיע -סוף האמת +סוף +האמת ממנו מיכל החדשה diff --git a/lnx-engine/search-index/datasets/stop_words/it.txt b/lnx-engine/search-index/datasets/stop_words/it.txt index 0ea97613..72940de1 100644 --- a/lnx-engine/search-index/datasets/stop_words/it.txt +++ b/lnx-engine/search-index/datasets/stop_words/it.txt @@ -1,132 +1,279 @@ a -adesso +abbia +abbiamo +abbiano +abbiate +ad +agl +agli ai al +all alla +alle allo -allora -altre -altri -altro anche -ancora -avere +avemmo +avendo +avesse +avessero +avessi +avessimo +aveste +avesti +avete aveva +avevamo avevano -ben -buono +avevate +avevi +avevo +avrai +avranno +avrebbe +avrebbero +avrei +avremmo +avremo +avreste +avresti +avrete +avrà +avrò +avuta +avute +avuti +avuto +c che chi -cinque -comprare +ci +coi +col +come con -consecutivi -consecutivo -cosa +contro cui da +dagl +dagli +dai +dal +dall +dalla +dalle +dallo +degl +degli +dei del +dell della +delle dello -dentro -deve -devo di -doppio -due +dov +dove e -ecco -fare -fine -fino -fra -gente -giu +ebbe +ebbero +ebbi +ed +era +erano +eravamo +eravate +eri +ero +essendo +faccia +facciamo +facciano +facciate +faccio +facemmo +facendo +facesse +facessero +facessi +facessimo +faceste +facesti +faceva +facevamo +facevano +facevate +facevi +facevo +fai +fanno +farai +faranno +farebbe +farebbero +farei +faremmo +faremo +fareste +faresti +farete +farà +farò +fece +fecero +feci +fosse +fossero +fossi +fossimo +foste +fosti +fu +fui +fummo +furono +gli ha hai hanno ho +i il -indietro invece +in io +l la -lavoro le lei +li lo loro lui -lungo ma -me -meglio -molta -molti -molto +mi +mia +mie +miei +mio +ne +negl +negli nei +nel +nell nella -no +nelle +nello noi -nome +non +nostra +nostre +nostri nostro -nove -nuovi -nuovo o -oltre -ora -otto -peggio -pero -persone -piu -poco -primo -promesso -qua -quarto -quasi -quattro +per +perché +più +quale +quanta +quante +quanti +quanto +quella +quelle +quelli quello +questa +queste +questi questo -qui -quindi -quinto -rispetto -sara -secondo +sarai +saranno +sarebbe +sarebbero +sarei +saremmo +saremo +sareste +saresti +sarete +sarà +sarò +se sei -sembra sembrava -senza -sette +si sia siamo +siano +siate siete -solo sono -sopra -soprattutto -sotto -stati -stato -stesso +sta +stai +stando +stanno +starai +staranno +starebbe +starebbero +starei +staremmo +staremo +stareste +staresti +starete +starà +starò +stava +stavamo +stavano +stavate +stavi +stavo +stemmo +stesse +stessero +stessi +stessimo +steste +stesti +stette +stettero +stetti +stia +stiamo +stiano +stiate +sto su -subito +sua +sue +sugl +sugli +sui sul +sull sulla -tanto -te -tempo -terzo +sulle +sullo +suo +suoi +ti tra -tre -triplo -ultimo +tu +tua +tue +tuo +tuoi +tutti +tutto un una uno -va -vai +vi voi -volte -vostro \ No newline at end of file +vostra +vostre +vostri +vostro +è diff --git a/lnx-engine/search-index/datasets/stop_words/ru.txt b/lnx-engine/search-index/datasets/stop_words/ru.txt index 628489d4..b08e0ee9 100644 --- a/lnx-engine/search-index/datasets/stop_words/ru.txt +++ b/lnx-engine/search-index/datasets/stop_words/ru.txt @@ -1,419 +1,159 @@ а -е -и -ж -м -о -на -не -ни -об -но -он -мне -мои -мож -она -они -оно -мной -много -многочисленное -многочисленная -многочисленные -многочисленный -мною -мой -мог -могут -можно -может -можхо -мор -моя -моё -мочь -над -нее -оба -нам -нем -нами -ними -мимо -немного -одной -одного -менее -однажды -однако -меня -нему -меньше -ней -наверху -него -ниже -мало -надо -один -одиннадцать -одиннадцатый -назад -наиболее -недавно -миллионов -недалеко -между -низко -меля -нельзя -нибудь -непрерывно -наконец -никогда -никуда -нас -наш -нет -нею -неё -них -мира -наша -наше -наши -ничего -начала -нередко -несколько -обычно -опять -около -мы -ну -нх -от -отовсюду -особенно -нужно -очень -отсюда +без +более +больше +будет +будто +бы +был +была +были +было +быть в -во -вон -вниз -внизу -вокруг -вот -восемнадцать -восемнадцатый -восемь -восьмой -вверх вам -вами -важное -важная -важные -важный -вдали -везде -ведь вас -ваш -ваша -ваше -ваши -впрочем -весь вдруг -вы +ведь +во +вот +впрочем все -второй -всем -всеми -времени -время -всему -всего всегда +всего всех -всею всю -вся -всё -всюду -г год -говорил -говорит -года -году +вы где +говорил да +даже +два +для +до +другой +его ее +ей +ему +если +есть +еще +ж +же +жизнь за +зачем +здесь +и из -ли -же +или им -до -по -ими -под иногда -довольно -именно -долго -позже -более -должно -пожалуйста -значит -иметь -больше -пока -ему -имя -пор -пора -потом -потому -после -почему -почти -посреди -ей -два -две -двенадцать -двенадцатый -двадцать -двадцатый -двух -его -дел -или -без -день -занят -занята -занято -заняты -действительно -давно -девятнадцать -девятнадцатый -девять -девятый -даже -алло -жизнь -далеко -близко -здесь -дальше -для -лет -зато -даром -первый -перед -затем -зачем -лишь -десять -десятый -ею -её их -бы -еще -при -был -про -процентов -против -просто -бывает -бывь -если -люди -была -были -было -будем -будет -будете -будешь -прекрасно -буду -будь -будто -будут -ещё -пятнадцать -пятнадцатый -друго -другое -другой -другие -другая -других -есть -пять -быть -лучше -пятый к -ком -конечно -кому -кого -когда -которой -которого -которая -которые -который -которых -кем -каждое -каждая -каждые -каждый кажется как -какой какая +какой +когда +конечно кто -кроме куда -кругом -с т -у -я -та -те -уж +ли +лучше +между +меня +мне +много +может +можно +мой +моя +мы +на +над +надо +наконец +нас +не +него +нее +ней +нельзя +нет +ни +нибудь +никогда +ним +них +ничего +но +ну +о +об +один +он +она +они +опять +от +перед +по +под +после +потом +потому +почти +при +про +раз +разве +с +сам +свою +себе +себя +сегодня +сейчас +сказал +сказала +сказать со -то -том -снова -тому совсем -того +так +такой +там +тебя +тем +теперь +то тогда +того тоже -собой -тобой -собою -тобою -сначала только -уметь +том тот -тою +три +тут +ты +у +уж +уже хорошо -хотеть -хочешь хоть -хотя -свое -свои -твой -своей -своего -своих -свою -твоя -твоё -раз -уже -сам -там -тем -чем -сама -сами -теми -само -рано -самом -самому -самой -самого -семнадцать -семнадцатый -самим -самими -самих -саму -семь -чему -раньше -сейчас чего -сегодня -себе -тебе -сеаой человек -разве -теперь -себя -тебя -седьмой -спасибо -слишком -так -такое -такой -такие -также -такая -сих -тех -чаще -четвертый +чем через -часто -шестой -шестнадцать -шестнадцатый -шесть -четыре -четырнадцать -четырнадцатый -сколько -сказал -сказала -сказать -ту -ты -три -эта -эти что -это чтоб -этом -этому -этой -этого чтобы +чуть +эти +этого +этой +этом этот -стал -туда -этим -этими -рядом -тринадцать -тринадцатый -этих -третий -тут эту -суть -чуть -тысяч \ No newline at end of file +я diff --git a/lnx-engine/search-index/datasets/stop_words/zh.txt b/lnx-engine/search-index/datasets/stop_words/zh.txt index 8453d4c2..0b3ef8f8 100644 --- a/lnx-engine/search-index/datasets/stop_words/zh.txt +++ b/lnx-engine/search-index/datasets/stop_words/zh.txt @@ -59,7 +59,8 @@ 当 从 到 -得 打 +得 +打 凡 儿 尔