Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Adicionando APRECE (Associação que publica diários do Ceará) #185

Open
wants to merge 3 commits into
base: main
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions diario_ama.py
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@
# Exceções Notáveis
# String: VAMOS, município Poço das Trincheiras, 06/01/2022, ato CCB3A6AB
re_nomes_municipios = (
r"ESTADO DE ALAGOAS(?:| )\n{1,2}PREFEITURA MUNICIPAL DE (.*\n{0,2}(?!VAMOS).*$)\n\s(?:\s|SECRETARIA)")
r"ESTADO (?:DE ALAGOAS|DO CEARÁ)(?:| )\n{1,2}PREFEITURA MUNICIPAL DE (.*\n{0,2}(?!VAMOS).*$)\n\s(?:\s|SECRETARIA)")


def extrair_diarios_municipais(texto_diario: str):
Expand Down Expand Up @@ -49,7 +49,7 @@ def extrair_diarios_municipais(texto_diario: str):
while num_linha < len(texto_diario_slice):
linha = texto_diario_slice[num_linha].rstrip()

if linha.startswith("ESTADO DE ALAGOAS"):
if linha.startswith("ESTADO DE ALAGOAS") or linha.startswith("ESTADO DO CEARÁ"):
nome = nome_municipio(texto_diario_slice, num_linha)
if nome is not None:
municipio_atual = diario_municipal.Municipio(nome)
Expand Down
126 changes: 65 additions & 61 deletions integracao_test.py
Original file line number Diff line number Diff line change
Expand Up @@ -16,67 +16,71 @@ def test_extrai_diarios(self):
# Novos casos de teste devem ser adicionados na tupla abaixo.
# Deve ser adicionado um arquivo -test.json para cada texto extraído (caso de teste)
cases = (
'test_data/diario-completo-2022-03-31-test.json',
'test_data/diario-completo-2023-08-02-test.json',
'test_data/diario-completo-2023-07-20-test.json',
'test_data/diario-completo-2023-03-17-test.json',
'test_data/diario-completo-2023-03-16-test.json',
'test_data/diario-completo-2023-01-26-test.json',
'test_data/diario-completo-2023-01-02-test.json',
'test_data/diario-completo-2022-01-03-test.json',
'test_data/diario-completo-2022-03-22-test.json',
'test_data/diario-completo-2022-10-31-test.json',
'test_data/diario-completo-2022-08-15-test.json',
'test_data/diario-completo-2022-08-29-test.json',
'test_data/diario-completo-2022-07-20-test.json',

'test_data/diario-completo-2022-02-14-test.json',
'test_data/diario-completo-2022-01-06-test.json',
'test_data/diario-completo-2021-04-01-test.json',
'test_data/diario-completo-2021-03-29-test.json',
'test_data/diario-completo-2021-01-29-test.json',
'test_data/diario-completo-2021-04-27-test.json',
'test_data/diario-completo-2021-12-01-test.json',
'test_data/diario-completo-2021-01-15-test.json',
'test_data/diario-completo-2020-12-16-test.json',
'test_data/diario-completo-2020-10-30-test.json',
'test_data/diario-completo-2020-10-15-test.json',
'test_data/diario-completo-2020-10-01-test.json',
'test_data/diario-completo-2020-01-21-test.json',
'test_data/diario-completo-2020-06-29-test.json',
'test_data/diario-completo-2020-05-14-test.json',
'test_data/diario-completo-2020-04-27-test.json',
'test_data/diario-completo-2019-11-14-test.json',
'test_data/diario-completo-2019-10-25-test.json',
'test_data/diario-completo-2019-10-15-test.json',
'test_data/diario-completo-2019-08-14-test.json',
'test_data/diario-completo-2019-07-05-test.json',
'test_data/diario-completo-2019-07-02-test.json',
'test_data/diario-completo-2019-05-16-test.json',
'test_data/diario-completo-2018-09-05-test.json',
'test_data/diario-completo-2019-11-28-test.json',
'test_data/diario-completo-2018-09-28-test.json',
'test_data/diario-completo-2018-10-26-test.json',
'test_data/diario-completo-2018-10-17-test.json',
'test_data/diario-completo-2018-10-03-test.json',
'test_data/diario-completo-2018-10-02-test.json',
'test_data/diario-completo-2018-03-02-test.json',
'test_data/diario-completo-2018-02-20-test.json',
'test_data/diario-completo-2017-12-28-test.json',
'test_data/diario-completo-2017-11-13-test.json',
'test_data/diario-completo-2017-10-25-test.json',
'test_data/diario-completo-2017-05-26-test.json',
'test_data/diario-completo-2016-10-14-test.json',
'test_data/diario-completo-2016-10-28-test.json',
'test_data/diario-completo-2016-08-02-test.json',
'test_data/diario-completo-2016-02-15-test.json',
'test_data/diario-completo-2016-01-04-test.json',
'test_data/diario-completo-2015-09-10-test.json',
'test_data/diario-completo-2015-04-02-test.json',
'test_data/diario-completo-2015-03-26-test.json',
'test_data/diario-completo-2014-06-23-test.json',
'test_data/diario-completo-2014-05-20-test.json',
'test_data/diario-completo-2021-04-23-test.json',
# Alagoas
'test_data/al/diario-completo-2022-03-31-test.json',
'test_data/al/diario-completo-2023-08-02-test.json',
'test_data/al/diario-completo-2023-07-20-test.json',
'test_data/al/diario-completo-2023-03-17-test.json',
'test_data/al/diario-completo-2023-03-16-test.json',
'test_data/al/diario-completo-2023-01-26-test.json',
'test_data/al/diario-completo-2023-01-02-test.json',
'test_data/al/diario-completo-2022-01-03-test.json',
'test_data/al/diario-completo-2022-03-22-test.json',
'test_data/al/diario-completo-2022-10-31-test.json',
'test_data/al/diario-completo-2022-08-15-test.json',
'test_data/al/diario-completo-2022-08-29-test.json',
'test_data/al/diario-completo-2022-07-20-test.json',
'test_data/al/diario-completo-2022-02-14-test.json',
'test_data/al/diario-completo-2022-01-06-test.json',
'test_data/al/diario-completo-2021-04-01-test.json',
'test_data/al/diario-completo-2021-03-29-test.json',
'test_data/al/diario-completo-2021-01-29-test.json',
'test_data/al/diario-completo-2021-04-27-test.json',
'test_data/al/diario-completo-2021-12-01-test.json',
'test_data/al/diario-completo-2021-01-15-test.json',
'test_data/al/diario-completo-2020-12-16-test.json',
'test_data/al/diario-completo-2020-10-30-test.json',
'test_data/al/diario-completo-2020-10-15-test.json',
'test_data/al/diario-completo-2020-10-01-test.json',
'test_data/al/diario-completo-2020-01-21-test.json',
'test_data/al/diario-completo-2020-06-29-test.json',
'test_data/al/diario-completo-2020-05-14-test.json',
'test_data/al/diario-completo-2020-04-27-test.json',
'test_data/al/diario-completo-2019-11-14-test.json',
'test_data/al/diario-completo-2019-10-25-test.json',
'test_data/al/diario-completo-2019-10-15-test.json',
'test_data/al/diario-completo-2019-08-14-test.json',
'test_data/al/diario-completo-2019-07-05-test.json',
'test_data/al/diario-completo-2019-07-02-test.json',
'test_data/al/diario-completo-2019-05-16-test.json',
'test_data/al/diario-completo-2018-09-05-test.json',
'test_data/al/diario-completo-2019-11-28-test.json',
'test_data/al/diario-completo-2018-09-28-test.json',
'test_data/al/diario-completo-2018-10-26-test.json',
'test_data/al/diario-completo-2018-10-17-test.json',
'test_data/al/diario-completo-2018-10-03-test.json',
'test_data/al/diario-completo-2018-10-02-test.json',
'test_data/al/diario-completo-2018-03-02-test.json',
'test_data/al/diario-completo-2018-02-20-test.json',
'test_data/al/diario-completo-2017-12-28-test.json',
'test_data/al/diario-completo-2017-11-13-test.json',
'test_data/al/diario-completo-2017-10-25-test.json',
'test_data/al/diario-completo-2017-05-26-test.json',
'test_data/al/diario-completo-2016-10-14-test.json',
'test_data/al/diario-completo-2016-10-28-test.json',
'test_data/al/diario-completo-2016-08-02-test.json',
'test_data/al/diario-completo-2016-02-15-test.json',
'test_data/al/diario-completo-2016-01-04-test.json',
'test_data/al/diario-completo-2015-09-10-test.json',
'test_data/al/diario-completo-2015-04-02-test.json',
'test_data/al/diario-completo-2015-03-26-test.json',
'test_data/al/diario-completo-2014-06-23-test.json',
'test_data/al/diario-completo-2014-05-20-test.json',
'test_data/al/diario-completo-2021-04-23-test.json',
# Ceará
"test_data/ce/diario-completo-2018-08-17-test.json",
"test_data/ce/diario-completo-2013-08-12-test.json",
"test_data/ce/diario-completo-2022-06-13-test.json",
)
for case_path in cases:
with open(case_path, 'r') as f:
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2014-05-20-extraido.txt",
"path": "test_data/diario-completo-2014-05-20-extraido.txt",
"path": "test_data/al/diario-completo-2014-05-20-extraido.txt",
"cabecalho": "Alagoas , 21 de Maio de 2014 • Diário Oficial dos Municípios do Estado de Alagoas • ANO I | Nº 0002 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2014-06-23.extraido.txt",
"path": "test_data/diario-completo-2014-06-23-extraido.txt",
"path": "test_data/al/diario-completo-2014-06-23-extraido.txt",
"cabecalho": "Alagoas , 23 de Junho de 2014 • Diário Oficial dos Municípios do Estado de Alagoas • ANO I | Nº 0005 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2015-03-26-extraido.txt",
"path": "test_data/diario-completo-2015-03-26-extraido.txt",
"path": "test_data/al/diario-completo-2015-03-26-extraido.txt",
"cabecalho": "Alagoas , 27 de Março de 2015 • Diário Oficial dos Municípios do Estado de Alagoas • ANO II | Nº 0047 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2015-04-02.extraido.txt",
"path": "test_data/diario-completo-2015-04-02-extraido.txt",
"path": "test_data/al/diario-completo-2015-04-02-extraido.txt",
"cabecalho": "Alagoas , 02 de Abril de 2015 • Diário Oficial dos Municípios do Estado de Alagoas • ANO II | Nº 0049 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2015-09-10.extraido.txt",
"path": "test_data/diario-completo-2015-09-10-extraido.txt",
"path": "test_data/al/diario-completo-2015-09-10-extraido.txt",
"cabecalho": "Alagoas , 10 de Setembro de 2015 • Diário Oficial dos Municípios do Estado de Alagoas • ANO II | Nº 0128 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2016-01-04-extraido.txt",
"path": "test_data/diario-completo-2016-01-04-extraido.txt",
"path": "test_data/al/diario-completo-2016-01-04-extraido.txt",
"cabecalho": "Alagoas , 05 de Janeiro de 2016 • Diário Oficial dos Municípios do Estado de Alagoas • ANO III | Nº 0201 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2016-02-15.extraido.txt",
"path": "test_data/diario-completo-2016-02-15-extraido.txt",
"path": "test_data/al/diario-completo-2016-02-15-extraido.txt",
"cabecalho": "Alagoas , 15 de Fevereiro de 2016 • Diário Oficial dos Municípios do Estado de Alagoas • ANO III | Nº 0225 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2016-08-02.extraido.txt",
"path": "test_data/diario-completo-2016-08-02-extraido.txt",
"path": "test_data/al/diario-completo-2016-08-02-extraido.txt",
"cabecalho": "Alagoas , 02 de Agosto de 2016 • Diário Oficial dos Municípios do Estado de Alagoas • ANO III | Nº 0340 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2016-10-14.extraido.txt",
"path": "test_data/diario-completo-2016-10-14-extraido.txt",
"path": "test_data/al/diario-completo-2016-10-14-extraido.txt",
"cabecalho": "Alagoas , 14 de Outubro de 2016 • Diário Oficial dos Municípios do Estado de Alagoas • ANO IV | Nº 0388 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2016-10-28.extraido.txt",
"path": "test_data/diario-completo-2016-10-28-extraido.txt",
"path": "test_data/al/diario-completo-2016-10-28-extraido.txt",
"cabecalho": "Alagoas , 28 de Outubro de 2016 • Diário Oficial dos Municípios do Estado de Alagoas • ANO IV | Nº 0398 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2017-05-26.extraido.txt",
"path": "test_data/diario-completo-2017-05-26-extraido.txt",
"path": "test_data/al/diario-completo-2017-05-26-extraido.txt",
"cabecalho": "Alagoas , 26 de Maio de 2017 • Diário Oficial dos Municípios do Estado de Alagoas • ANO IV | Nº 0540 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2017-10-25.extraido.txt",
"path": "test_data/diario-completo-2017-10-25-extraido.txt",
"path": "test_data/al/diario-completo-2017-10-25-extraido.txt",
"cabecalho": "Alagoas , 25 de Outubro de 2017 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0645 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2017-11-13-extraido.txt",
"path": "test_data/diario-completo-2017-11-13-extraido.txt",
"path": "test_data/al/diario-completo-2017-11-13-extraido.txt",
"cabecalho": "Alagoas , 14 de Novembro de 2017 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0658 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2017-12-28.extraido.txt",
"path": "test_data/diario-completo-2017-12-28-extraido.txt",
"path": "test_data/al/diario-completo-2017-12-28-extraido.txt",
"cabecalho": "Alagoas , 28 de Dezembro de 2017 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0688 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-02-20.extraido.txt",
"path": "test_data/diario-completo-2018-02-20-extraido.txt",
"path": "test_data/al/diario-completo-2018-02-20-extraido.txt",
"cabecalho": "Alagoas , 20 de Fevereiro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0724 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-03-02.extraido.txt",
"path": "test_data/diario-completo-2018-03-02-extraido.txt",
"path": "test_data/al/diario-completo-2018-03-02-extraido.txt",
"cabecalho": "Alagoas , 02 de Março de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0732 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-09-05-extraido.txt",
"path": "test_data/diario-completo-2018-09-05-extraido.txt",
"path": "test_data/al/diario-completo-2018-09-05-extraido.txt",
"cabecalho": "Alagoas , 06 de Setembro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO V | Nº 0864 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-09-28-extraido.txt",
"path": "test_data/diario-completo-2018-09-28-extraido.txt",
"path": "test_data/al/diario-completo-2018-09-28-extraido.txt",
"cabecalho": "Alagoas , 28 de Setembro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 0879 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-10-02.extraido.txt",
"path": "test_data/diario-completo-2018-10-02-extraido.txt",
"path": "test_data/al/diario-completo-2018-10-02-extraido.txt",
"cabecalho": "Alagoas , 02 de Outubro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 0881 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-10-03.extraido.txt",
"path": "test_data/diario-completo-2018-10-03-extraido.txt",
"path": "test_data/al/diario-completo-2018-10-03-extraido.txt",
"cabecalho": "Alagoas , 03 de Outubro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 0882 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-10-17.extraido.txt",
"path": "test_data/diario-completo-2018-10-17-extraido.txt",
"path": "test_data/al/diario-completo-2018-10-17-extraido.txt",
"cabecalho": "Alagoas , 17 de Outubro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 0891 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2018-10-26.extraido.txt",
"path": "test_data/diario-completo-2018-10-26-extraido.txt",
"path": "test_data/al/diario-completo-2018-10-26-extraido.txt",
"cabecalho": "Alagoas , 26 de Outubro de 2018 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 0898 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-05-16.extraido.txt",
"path": "test_data/diario-completo-2019-05-16-extraido.txt",
"path": "test_data/al/diario-completo-2019-05-16-extraido.txt",
"cabecalho": "Alagoas , 16 de Maio de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 1035 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-07-02.extraido.txt",
"path": "test_data/diario-completo-2019-07-02-extraido.txt",
"path": "test_data/al/diario-completo-2019-07-02-extraido.txt",
"cabecalho": "Alagoas , 02 de Julho de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 1067 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-07-05.extraido.txt",
"path": "test_data/diario-completo-2019-07-05-extraido.txt",
"path": "test_data/al/diario-completo-2019-07-05-extraido.txt",
"cabecalho": "Alagoas , 05 de Julho de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 1070 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-08-14.extraido.txt",
"path": "test_data/diario-completo-2019-08-14-extraido.txt",
"path": "test_data/al/diario-completo-2019-08-14-extraido.txt",
"cabecalho": "Alagoas , 14 de Agosto de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VI | Nº 1098 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-10-15.extraido.txt",
"path": "test_data/diario-completo-2019-10-15-extraido.txt",
"path": "test_data/al/diario-completo-2019-10-15-extraido.txt",
"cabecalho": "Alagoas , 15 de Outubro de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VII | Nº 1142 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-10-25.extraido.txt",
"path": "test_data/diario-completo-2019-10-25-extraido.txt",
"path": "test_data/al/diario-completo-2019-10-25-extraido.txt",
"cabecalho": "Alagoas , 25 de Setembro de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VII | Nº 1128 ",
"diarios": [
{
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"desc": "diario-completo-2019-11-14.extraido.txt",
"path": "test_data/diario-completo-2019-11-14-extraido.txt",
"path": "test_data/al/diario-completo-2019-11-14-extraido.txt",
"cabecalho": "Alagoas , 14 de Novembro de 2019 • Diário Oficial dos Municípios do Estado de Alagoas • ANO VII | Nº 1164 ",
"diarios": [
{
Expand Down
Loading