transformer

Cobollatin · Nov 20, 2024 · a70f519 · a70f519
1 parent 2f0bed3
commit a70f519
Show file tree

Hide file tree

Showing 1,198 changed files with 191,899 additions and 909 deletions.
diff --git a/indexer/Program.cs b/indexer/Program.cs
@@ -7,13 +7,6 @@
 using OpenAI_API;
 using OpenAI_API.Models;
 
-// if (args.Any(x => x == "test"))
-// {
-//     var scrapperTest = new JwScrapper();
-//     await scrapperTest.ScrapeAsync("test", JwScrapper.Language.EN);
-//     return 0;
-// }
-
 using ILoggerFactory factory = LoggerFactory.Create(builder => builder.AddConsole());
 var logger = factory.CreateLogger("Indexer");
 
@@ -80,9 +73,6 @@
 
 const string path = "./data";
 
-// var scrapper = new JwScrapper();
-// await scrapper.ScrapeAsync(path, JwScrapper.Language.ES, cancellationToken);
-
 var filesInDirectory = Directory.GetFiles(path, "*.json", SearchOption.AllDirectories);
 
 foreach (var file in filesInDirectory)

diff --git a/indexer/Services/JwScrapper.cs b/indexer/Services/JwScrapper.cs
diff --git a/indexer/assets/es_rvr.json b/indexer/assets/es_rvr.json
diff --git a/indexer/data/1_Chronicles_1.json b/indexer/data/1_Chronicles_1.json
@@ -0,0 +1,272 @@
+[
+    {
+        "Title": "1 Chronicles:1:1",
+        "Content": "ADAM, Seth, Enos,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:2",
+        "Content": "Cainán, Mahalaleel, Jared,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:3",
+        "Content": "Enoch, Mathusalem, Lamech,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:4",
+        "Content": "Noé, Sem, Châm, y Japhet.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:5",
+        "Content": "Los hijos de Japhet: Gomer, Magog, Dadai, Javán, Tubal, Mesec, y Thiras.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:6",
+        "Content": "Los hijos de Gomer: Askenaz, Riphath, y Thogorma.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:7",
+        "Content": "Los hijos de Javán: Elisa, Tharsis, Chîthim, y Dodanim.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:8",
+        "Content": "Los hijos de Châm: Chûs, Misraim, Phuth, y Canaán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:9",
+        "Content": "Los hijos de Chûs: Seba, Havila, Sabtha, Raema, y Sabtechâ. Y los hijos de Raema: Seba y Dedán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:10",
+        "Content": "Chûs engendró á Nimrod: éste comenzó á ser poderoso en la tierra.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:11",
+        "Content": "Misram engendró á Ludim, Ananim, Laabim, Nephtuim,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:12",
+        "Content": "Phetrusim y Casluim: de éstos salieron los Filisteos, y los Caphtoreos.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:13",
+        "Content": "Canaán engendró á Sidón, su primogénito;",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:14",
+        "Content": "Y al Hetheo, y al Jebuseo, y al Amorrheo, y al Gergeseo;",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:15",
+        "Content": "Y al Heveo, y al Araceo, y al Sineo;",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:16",
+        "Content": "Al Aradeo, y al Samareo, y al Hamatheo.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:17",
+        "Content": "Los hijos de Sem: Elam, Assur, Arphaxad, Lud, Aram, Hus, Hul, Gether, y Mesec.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:18",
+        "Content": "Arphaxad engendró á Sela, y Sela engendró á Heber.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:19",
+        "Content": "Y á Heber nacieron dos hijos: el nombre del uno fué Peleg, por cuanto en sus días fué dividida la tierra; y el nombre de su hermano fué Joctán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:20",
+        "Content": "Y Joctán engendró á Elmodad, Seleph, Asarmaveth, y Jera,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:21",
+        "Content": "A Adoram también, á Uzal, Dicla,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:22",
+        "Content": "Hebal, Abimael, Seba,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:23",
+        "Content": "Ophir, Havila, y Jobab: todos hijos de Joctán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:24",
+        "Content": "Sem, Arphaxad, Sela,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:25",
+        "Content": "Heber, Peleg, Reu,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:26",
+        "Content": "Serug, Nachôr, Thare,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:27",
+        "Content": "Y Abram, el cual es Abraham.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:28",
+        "Content": "Los hijos de Abraham: Isaac é Ismael.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:29",
+        "Content": "Y estas son sus descendencias: el primogénito de Ismael, Nabajoth; después Cedar, Adbeel, Misam,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:30",
+        "Content": "Misma, Duma, Maasa, Hadad, Thema, Jetur, Naphis, y Cedma. Estos son los hijos de Ismael.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:31",
+        "Content": "Y Cethura, concubina de Abraham, parió á Zimram, Jocsán, Medán, Madián, Isbac, y á Súa.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:32",
+        "Content": "Los hijos de Jobsán: Seba y Dedán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:33",
+        "Content": "Los hijos de Madián: Epha, Epher, Henoch, Abida, y Eldaa; todos estos fueron hijos de Cethura.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:34",
+        "Content": "Y Abraham engendró á Isaac: y los hijos de Isaac fueron Esaú é Israel.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:35",
+        "Content": "Los hijos de Esaú: Eliphas, Rehuel, Jeus, Jalam, y Cora.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:36",
+        "Content": "Los hijos de Eliphas: Themán, Omar, Sephi, Hatham, Chênas, Timna, y Amalec.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:37",
+        "Content": "Los hijos de Rehuel: Nahath, Zera, Samma, y Mizza.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:38",
+        "Content": "Los hijos de Seir: Lotán, Sobal, Sibeón, Ana, Disón, Eser, y Disán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:39",
+        "Content": "Los hijos de Lotán: Hori, y Homam: y Timna fué hermana de Lotán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:40",
+        "Content": "Los hijos de Sobal: Alian, Manahach, Ebal, Sephi y Oman. Los hijos de Sibehom: Aia, y Ana.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:41",
+        "Content": "Disón fué hijo de Ana: y los hijos de Disón; Hamrán, Hesbán, Ithran y Chêrán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:42",
+        "Content": "Los hijos de Eser: Bilham, Zaaván, y Jaacán. Los hijos de Disán: Hus y Arán.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:43",
+        "Content": "Y estos son los reyes que reinaron en la tierra de Edom, antes que reinase rey sobre los hijos de Israel Belah, hijo de Beor; y el nombre de su ciudad fué Dinaba.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:44",
+        "Content": "Y muerto Belah, reinó en su lugar Jobab, hijo de Zera, de Bosra.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:45",
+        "Content": "Y muerto Jobab reinó en su lugar Husam, de la tierra de los Themanos.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:46",
+        "Content": "Muerto Husam, reinó en su lugar Adad, hijo de Bedad, el cual hirió á Madián en la campaña de Moab: y el nombre de su ciudad fué Avith.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:47",
+        "Content": "Muerto Adad, reinó en su lugar Samla, de Masreca.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:48",
+        "Content": "Muerto también Samla, reinó en su lugar Saúl de Rehoboth, que está junto al río.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:49",
+        "Content": "Y muerto Saúl, reinó en su lugar Baal-hanán, hijo de Achbor.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:50",
+        "Content": "Y muerto Baal-hanán, reinó en su lugar Adad, el nombre de cuya ciudad fué Pai; y el nombre de su mujer Meetabel, hija de Matred, y ésta de Mezaab.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:51",
+        "Content": "Muerto Adad, sucedieron los duques en Edom: el duque Timna, el duque Alia, el duque Jetheth,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:52",
+        "Content": "El duque Oholibama, el duque Ela, el duque Phinón,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:53",
+        "Content": "El duque Chênaz, el duque Themán, el duque Mibzar,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:1:54",
+        "Content": "El duque Magdiel, el duque Iram. Estos fueron los duques de Edom.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    }
+]
diff --git a/indexer/data/1_Chronicles_10.json b/indexer/data/1_Chronicles_10.json
@@ -0,0 +1,72 @@
+[
+    {
+        "Title": "1 Chronicles:10:1",
+        "Content": "LOS Filisteos pelearon con Israel; y huyeron delante de ellos los Israelitas, y cayeron heridos en el monte de Gilboa.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:2",
+        "Content": "Y los Filisteos siguieron á Saúl y á sus hijos; y mataron los Filisteos á Jonathán, y á Abinadab, y á Malchîsua, hijos de Saúl.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:3",
+        "Content": "Y agravóse la batalla sobre Saúl, y le alcanzaron los flecheros, y fué de los flecheros herido.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:4",
+        "Content": "Entonces dijo Saúl á su escudero: Saca tu espada, y pásame con ella, porque no vengan estos incircuncisos, y hagan escarnio de mí; mas su escudero no quiso, porque tenía gran miedo. Entonces Saúl tomó la espada, y echóse sobre ella.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:5",
+        "Content": "Y como su escudero vió á Saúl muerto, él también se echó sobre su espada, y matóse.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:6",
+        "Content": "Así murió Saúl, y sus tres hijos; y toda su casa murió juntamente con él.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:7",
+        "Content": "Y viendo todos los de Israel que habitaban en el valle, que habían huído, y que Saúl y sus hijos eran muertos, dejaron sus ciudades, y huyeron: y vinieron los Filisteos, y habitaron en ellas.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:8",
+        "Content": "Y fué que viniendo el día siguiente los Filisteos á despojar los muertos, hallaron á Saúl y á sus hijos tendidos en el monte de Gilboa.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:9",
+        "Content": "Y luego que le hubieron desnudado, tomaron su cabeza y sus armas, y enviáronlo todo á la tierra de los Filisteos por todas partes, para que fuese denunciado á sus ídolos y al pueblo.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:10",
+        "Content": "Y pusieron sus armas en el templo de su dios, y colgaron la cabeza en el templo de Dagón.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:11",
+        "Content": "Y oyendo todos los de Jabes de Galaad lo que los Filisteos habían hecho de Saúl,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:12",
+        "Content": "Levantáronse todos los hombres valientes, y tomaron el cuerpo de Saúl, y los cuerpos de sus hijos, y trajéronlos á Jabes; y enterraron sus huesos debajo del alcornoque en Jabes, y ayunaron siete días.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:13",
+        "Content": "Así murió Saúl por su rebelión con que prevaricó contra Jehová, contra la palabra de Jehová, la cual no guardó; y porque consultó al pythón, preguntándo le,",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    },
+    {
+        "Title": "1 Chronicles:10:14",
+        "Content": "Y no consultó á Jehová: por esta causa lo mató, y traspasó el reino á David, hijo de Isaí.",
+        "Url": "https://wol.jw.org/es/wol/binav/r4/lp-s/nwtsty"
+    }
+]