REPÚBLICA DE ANGOLA

MINSTÉRIO DA EDUCAÇÃO

PROJECTO DE APRENDIZAGEM PARA TODOS Crédito IDA 52540 Contrato de Prestação de Serviços AO-PAT-137072 -CS-INDV/19/92

ANÁLISE DA SITUAÇÃO DA AVALIAÇÃO DE IMPACTO

VITOR AZEVEDO PEREIRA PONTUAL

Maio de 2020

Índice Nenhuma entrada de índice de ilustrações foi encontrada. .... Erro! Marcador não definido. Introdução ...... Erro! Marcador não definido. Contexto ...... 3 Análise ...... 3 Recomendações...... 6 Anexo ...... Erro! Marcador não definido.

Índice de figuras Figura 1-Braços da avaliação de impacto do PAT1 ...... 4 Figura 2 - Definição Final das ZIP Elegíveis do PAT ...... 5

Índice de tabelas Tabela 1- Braços da avaliação do PAT1 ...... 4 Tabela 2- Diferenças de médias dos grupos 1, 2 e 3 ...... 4 Tabela 3- Escolas do grupo3 ...... 8 Tabela 4- Escolas do grupo 4 ...... 10 Contexto

Desde o fim da guerra civil, Angola tem passado por inúmeras transformações. A Economia tem crescido a taxas bastante elevadas desde então, as taxas de matrículas nas escolas primárias têm sofrido um grande aumento, pressionando pelo recrutamento de professores que nem sempre possuem as competências necessárias para dar aula na classe em que lecionam. Nesse processo, Angola tem descentralizado a gestão escolar, dado mais poder de decisão aos níveis provincial e municipal.

O Projecto Aprendizagem para Todos (PAT) é financiado por um crédito da Associação Internacional de Desenvolvimento, foi aprovado em Setembro de 2013 e entrou em vigor em Junho de 2014. O projeto tem como principais componentes:

Componente 1. Melhorar os Conhecimentos e Competências dos Professores e a Gestão Escolar em Escolas Primárias das Áreas Designadas do Projecto, com os objectivos:de (i) consolidar e expandir o modelo das Zonas de Influência Pedagógica a todas as províncias de Angola; (ii) preparar, implementar e testar um programa de formação contínua de professores, e (iii) contribuir para melhorar a gestão das escolas e a sua prestação de contas perante a comunidade local.

Desde a concepção do Projeto, foi prevista uma Avaliação de seu Impacto, que estava planejada para permitir identificar as abordagens de melhor relação custo-benefício no decurso do Projecto antes da expansão para todas as regiões do país. Dentre os temas escolhidos para serem objeto da avaliação, podemos destacar (i) A quantidade de crianças fora da escola, (ii) A escolarização das crianças do sexo feminino (iii) Questões sociais, incluindo VIH, e (iv) Reforma da formação inicial de professores

O modelo ZIP foi introduzido em nove províncias, sendo particularmente bem-sucedido na província austral do Namibe. O objectivo do modelo ZIP é a criação de uma rede em que as escolas podem partilhar experiências e colaborar entre si no trabalho do dia-a-dia, a fim de poderem prestar um serviço educativo de melhor qualidade.

No início do Projecto, o conceito das ZIPs era novo e apenas estava a funcionar numa escala reduzida em metade das províncias de Angola. No entanto, desde que o Projecto começou, o conceito das ZIPs já foi adoptado em larga escala e existem agora mais de 1.800 ZIPs em todo o país.

Para se ajustar a esta situação, a concepção da AI foi alterada para se concentrar menos nas ZIPs e avaliar antes o valor acrescentado das várias intervenções nas ZIPS visadas pelo Projecto, incluindo os subsídios às escolas, os comités escolares activos e as actividades de formação de professores em serviço. A idéia era poder distinguir o impacto de cada uma dessa ações sobre o resultado final nos alunos

Durante a implementação do Projeto, uma série de fatores prejudicou a implementação concomitante da avaliação de impacto. Por exemplo, a rede de ZIPs foi expandida em velocidade maior do que a inicialmente planejada, assim como a formação dos professores. Este relatório visa justamente analisar esses fatores e a pertinência de novas coletas de dados para se avaliar o impacto da primeira etapa do Projeto Aprendizagem para Todos.

Análise

O Relatório de coleta de dados do EGRA e SDI mostra que houve comprometimento do tratamento, que havia sido sorteado entre 4 grupos.

Figura 1-Braços da avaliação de impacto do PAT1

ZIP Elegíveis

G1 G2 G3 COM Formação de COM Formação de Professores G4 Professores COM Formação de Professores SEM Reforço das ZIPs GRUPO DE COM Reforço das ZIPs COM Reforço das ZIPs SEM Projecto Educativo CONTROLO COM Projecto Educativo SEM Projecto Educativo (Subsídio (Subsídio) (Subsídio)

Tabela 1- Braços da avaliação do PAT1

G1 G2

Formação Continua, Subsídio à Escola e Reforço das Formação Continua e Reforço das ZIP ZIP(50 ZIP) (50 ZIP)

G3 G4

Formação Continua (50 ZIP) Grupo de Controlo (50 ZIP)

A aleatoriedade do primeiro grupo claramente ficou comprometida pela seleção não aleatória das escolas, que incluiu critérios como a localização da escola, falta de equipamento adequado, falta de computador, dentre outros critérios.

Em relação ao grupo 2, o Relatório da Linha de Base do EGRA e do SDi mostra que “as ZIP do Grupo 2 já tinham sido seleccionadas pela Equipa de Gestão do Projecto (EGP), sendo esse grupo de aproximadamente 95 ZIP”. Ou seja, não houve aleatoriedade na escolha das escolas do grupo 2.

Os dados contidos no arquivo “AMOSTRA FINAL_ANTES DO PILOTO.xlsx” mostra 3 grupos de escolas, que provavelmente são compostos pelos grupos 1, 2 e 3. Não sabemos se as escolas do grupo 4 foram entrevistadas ou não. Caso não tenham sido entrevistadas, será uma enorme pena, pois as escolas dos grupos 1, 2 e 3 receberam o tratamento, e portanto não teríamos nenhum grupo de controle. Como era de se esperar, os grupos 1, 2 e 3 são bastante diferentes entre si, como atesta a tabela abaixo:

Tabela 2- Diferenças de médias dos grupos 1, 2 e 3

t-test t-test Grupo: 3 1 2 Difference Difference

Variável N Mean/SE N Mean/SE N Mean/SE (3)-(1) (3)-(2) Num de aunos 52 482.981 43 1040.953 113 1321.973 -557.973*** -838.993*** [58.093] [114.719] [103.522] Num de professores 49 14.735 39 25.359 113 46.159 -10.624** -31.425 [3.486] [2.664] [13.128] Num de salas 49 6.327 44 10.523 111 12.288 -4.196*** -5.962*** [0.580] [1.464] [0.754] Tem sala 55 0.655 47 0.596 119 0.655 0.059 -0.001 [0.065] [0.072] [0.044] Tem contacto 55 0.709 47 0.766 119 0.731 -0.057 -0.022 [0.062] [0.062] [0.041] Mais de 35 kms 55 0.291 47 0.255 119 0.092 0.036 0.198*** [0.062] [0.064] [0.027] Mais de 3 profs 55 0.927 47 0.851 119 0.899 0.076 0.028 [0.035] [0.052] [0.028] Mais de 50 alunos 55 0.964 47 0.894 119 0.933 0.070 0.031 [0.025] [0.045] [0.023]

Como se pode perceber, as escolas do grupo 3 são muito menores do que as escolas dos grupos 1 e 2. Elas possuem na média 557 alunos a menos do que as escolas do grupo 1, e 838 alunos a menos do que as escolas do grupo 1. Elas possuem também menos professores e salas, e tem maior chance de estarem afastadas.

Sobre os grupos 3 e 4, o documento afirma que “Para adicionar alguma aleatoriedade ao processo de seleção de ZIP para cada grupo, as ZIP dos Grupos 3 e 4 foram selecionadas de forma aleatória”.

A escolha das escolas dos grupos 3 e 4 está descrita no arquivo “Para seleccionar os grupos 3 e 4 (1).docx5.docx”. O documento contém a descrição dos procedimentos para a escolha dos dois grupos. Basicamente, pegou-se a lista de 1791 ZIPs, exclui-se os grupos 1 e 2, e da lista restante foram sorteadas as escolas do grupo 3. Repetindo o processo, excluíram-se então as escolas do grupo 3, e foram sorteadas as escolas do grupo 4.

Segundo o relatório do EGRA e SDI, os critérios separando os 4 grupos foram alterados, e todas as escolas dos grupos 1, 2 e 3 receberam a formação de professores, o reforço das ZIPs e o subsídio com o projeto educativo.

Figura 2 - Definição Final das ZIP Elegíveis do PAT

ZIP Elegíveis

G1 COM Formação de Professores G2 COM Reforço das ZIPs GRUPO DE CONTROLO COM Projecto Educativo (Subsídio)

O que isso significa? Primeiro, significa que a avaliação de impacto não consegue mais separar o efeito de cada um dos componentes do projecto. Ou seja, não é possível mais distinguir o efeito do reforço das ZIPs do efeito da formação de professores.

Isso, porém, não invalida a avaliação de impacto, pois temos dois grupos de escolas, o grupo 3 e o grupo 4, que foram escolhidos de forma aleatória. O grupo 3 recebeu os 3 componentes do projeto, e o grupo 4 não recebeu nenhum componente. Logo, podemos avaliar o “pacote” do projeto comparando as escolas do grupo 3 com as escolas do grupo 4. Podemos faze isso desde que saibamos quais escolas pertencem ao grupo 3 quais escolas pertencem ao grupo 4.

Temos como saber quais escolas estão no grupo 3 e quais estão no grupo 4?

Sim. O arquivo “Para seleccionar os grupos 3 e 4 (1).docx5.docx” mostra quais escolas estão em cada grupo. A lista de escolas em cada grupo encontra-se no apêndice deste relatório.

Uma vez que ambos os grupos foram escolhidos de forma aleatória, deveríamos esperar que as escolas dos dois grupos fossem parecidas. Não me foi enviada nenhuma base de dados que permitisse fazer tal comparação. Não consegui, por exemplo, encontrar várias das escolas dos grupos 3 e 4 entre as bases constantes nos arquivos “AMOSTRA FINAL_ANTES DO PILOTO.xlsx” ou na base “Cópia de SDI Modulo3 577 escolas.xlsx”. Já os arquivos “.log”, que mostram comandos do Software Stata@ resultantes da análise do SDI tratam de 3 grupos de tratamento e controle, sendo os 2 primeiros genericamente agrupados em um mesmo tratamento. Fica a dúvida, portanto, se as 100 escolas dos grupos 3 e 4 de fato foram amostradas para o EGRA e SDI.

É possível fazer alguma avaliação de impacto da primeira fase do PAT?

Aparentemente sim. Para isso, precisamos que as escolas do grupo 3 tenham recebido o tratamento das ações do PAT1, e as escolas do grupo 4 não tenham recebido essas ações.

Resta-nos, no entanto, a questão de quais resultados olhar nessa avaliação de impacto. Certamente podemos olhar para os dados do SIGE sobre número de matriculas dos rapazes e das raparigas, assim como verificar as taxas de aprovação, reprovação e abando nessas escolas.

Não creio, porém, que valha a pena gastar os recursos das coletas de dados da preparação do PAT2 ou do próprio PAT2 para avaliar o impacto do PAT1 nessas escolas. Em primeiro lugar, porque não temos certeza se o sorteio entre as escolas dos grupos 3 e 4 de fato foi respeitado ou não. Segundo, porque o número de 50 escolas sendo sorteadas não é um número que nos dê muita segurança de encontrar um efeito do programa, caso ele realmente exista, o que poderia nos levar a conclusões equivocadas. É importante notar pelo arquivo que descreve o sorteio (“Para seleccionar os grupos 3 e 4 (1).docx5.docx”) que as escolas não foram pareadas, o que poderia ter aumentado a chance de encontrar um efeito.

O recurso seria melhor empregado ao se formar uma linha de base para as novas ações do PAT2.

Recomendações

A primeira fase do Projeto de Aprendizagem para Todos envolveu uma quantidade volumosa de recursos. Apesar dos inúmeros percalços, a documentação disponível mostra que o programa pode ter gerado aprendizados muito importantes na sua implementação, cujos erros devem ser evitados na segunda fase de implementação do projeto.

Apesar de o Projeto não contar com uma avaliação de impacto rigorosa e quantitativa, há uma série de estudos qualitativos de grade valia. Tais estudos devem ser considerados na formulação do PAT2. Sobre uma avaliação quantitativa do PAT1, não creio que calha a pena gastar dinheiro da renovação do projeto para se avaliar o impacto entre as escolas dos grupos 3 e 4. Os recursos de pesquisa seriam melhor empregados se servirem para coletar dados de linha de base para as próximas intervenções do PAT2.

Entretanto, ainda é possível avaliar o PAT1 através dos dados do SIGE, e outros dados de aprendizado dos alunos, caso estejam disponíveis.

É muito bom que as diversas coletas de dados do EGRA, SDI, TEACH e a avaliação de aprendizagens esteja sendo pensada em conjunto no arranque do novo projeto. Isso permite explorar sinergias entre essas bases. Para isso, será preciso que:

1. O EGRA, SDI, o TEACH e o WMS (World Management Survey) sejam uma subamostra da avaliação de aprendizado dos alunos. Com isso, podemos ter mais informação da mesma escola. Podemos responder, por exemplo, como que a gestão escolar influencia professores e alunos, ou como o estilo de aula do professor afeta o desempanho dos estudantes. 2. Maximizar a interseção de classes do EGRA, SDI e TEACH e prova disgnóstica de conhecimento dos alunos. Isso permitirá cruzar informções do SDI e Teach, por exemplo. 3. Medir o Valor Adicionado do Professor através da aplicação de testes de aprendizagem em dois momentos distintos do tempo sobre a mesma coorte de alunos. Isso permitirá eliminar qualquer viés de seleção entre professores e alunos, dando a possibilidade de calcular o valor adicionado pelo professor. A medida de valor adicionado pode ser então correlcionada com os dados do TEACH, o que por sua vez nos permitirá saber quais as atividades docentes possuem maior impacto para oa alunos. 4. O sorteio das próximas interveções seja feito em cima da amostra de escolas que fizeram a avaliação dos alunos e do Teach, do EGRA e do SDI.

As oportunidades de se aprender com as coletas de dados são gigantescas, mas só farão sentido se assimiladas pelo corpo técnico do Ministério da Educação no planejamento das intervenções visando melhor a qualidade do ensino ofertado às crianças e jovens angolanos.

Apêndice

Tabela 3- Escolas do grupo3

Ord num num provincia municipiio comuna Nome da escola em ref ero Cuanza 7 1204 Amboim Gabela QUIPUNGO 1 Sul CHIVAUL ESCOLA PRIMÁRIA DE 33 934 Bié Andulo 2 O CHIVINGA CHIVAUL ESCOLA PRIMÁRIA DE 42 983 Bié Andulo 3 O BUANGA Camacup ESCOLA PRIMÁRIA DE 81 971 Bié MUINHA 4 a CAMBUNDI ESCOLA PRIMÁRIA DE SEDE Camacup RINGOM 86 991 Bié RINGOMA (Comandante Lúcio a A 5 Lara) Cuanza Cassongu 90 1210 Dumbi MUNGO 6 Sul e ESCOLA PRIMÁRIA DE SEDE 110 940 Bié Catabola SANDE 7 COMUNAL Cuanza 119 1170 Cela Sanga CHIMBANGUA (SANGA) 8 Sul CHITEMB ESCOLA PRIMÁRIA DE 157 923 Bié Chitembo 9 O - SEDE CUSSEQUE/CAWOLOLO ESCOLA PRIMÁRIA DE HOJI- 280 875 Bié Nharea CAIEIE 10 YA-HENDA ESCOLA PRIMÁRIA DE 293 918 Bié Nharea CAIEIE 11 CUNDAMBUNDO Cuanza 345 1148 Sumbe Gungo ESCOLA DA CAWITA 12 Sul Cuanza 347 1150 Sumbe Gangula CRISTO – KUACRA 13 Sul ESCOLA PRIMÁRIA DE 369 1420 Huambo Ukuma CACOMA 14 SACHINGONGO Pungo 379 1595 Malanje Cacuso Capanda 15 Andongo Cambond 398 1610 Malanje Malanje Cambondo de Malanje 16 o 11 de Novembro +3 (Cainde 415 154 Namibe Virei Cainde 17 Sede) 18 417 172 Namibe Namibe Santa Rita Augusto N´gangula 19 423 57 Lunda Sul Saurimo Sede 11 de Novembro Sede 428 287 Uíge Uíge Escola Primária nº 10 Quilevo 20 Municipal Kapunda 432 386 Huila Chibia Tyikova 21 Kavilongo 22 464 68 Lunda Sul Cacolo Cacolo 16 de Junho Chicomba 484 466 Huila Chicomba Cabir Comercial 23 sede 24 500 456 Huila Chicomba Qué Qué Pedra de 506 605 Zaire Soyo Escola Primária nº 122 25 Feitiço Sector Cuanza Golungo 511 1128 Cambond Cambondo Norte Alto 26 o Caluque Caluquem 517 419 Huila Chilunda I 27 mbe be Sede 28 543 600 Zaire Nzetu Kindege Escola Primari Nº139 29 636 1012 Cabinda Cacongo Sede Tando Pala 30 642 604 Zaire Nzetu Kibala Escola Primária nº 187 Quilengu Quilengue 684 346 Huila Bonga-Quilengues 31 es s Sede Cuanham 797 1295 Cunene Nehoni Anhanca 32 a Cuanza Gonguem 802 1123 Sede Banza Kilombo 33 Norte bo Sede Escola Primária nº 361 835 551 Uíge Uíge 34 Municipal Casseche Kicolo Bº 871 1771 Luanda Cacuaco Augusto 35 Ngangula Sanza Sede Escola Primária nº 466 de 930 207 Uíge 36 Pombo Municipal yalamo 37 987 1342 Cunene Ombadja Xangongo Mufilu 38 995 1375 Cunene Ombadja Humbe Mahenge – Amukulu 106 ESCOLA PRIMARIA Nº 671 DO 531 Uíge Kimbele Cuango 39 1 CUANGO-SEDE 114 Alto Escola Primária 830 Sede 278 Uíge Benngo 40 9 Cauale Comunal Bengo 119 Lunda Escola do Ensino Primário do 28 Cuilo Xalucunda 41 0 Norte Xalucunda 120 815 Benguela Benguela zona - D Primária Calilongue 42 9 124 790 Benguela Cubal Sede Primária e Iº Ciclo Lassalete 43 5 131 Monte 755 Benguela Bocoio Primária da Tola 44 8 Belo 138 Chongoro Bolonguel 669 Benguela Primária e Secundária da Hanja 45 8 i a 139 48 Lunda Sul Dala Cazage Nhambaca 46 7 146 129 Moxico Moxico Luena E.E.P.nº174 47 6 149 ESCOLA PRIMÁRIA 17 DE 1538 Huambo Caála Calenga 48 3 SETEMBRO 150 ESCOLA PRIMÁRIA DA 1566 Huambo Longonjo CHILATA 49 0 CHILATA 162 Sede Escola Primária Manuel Quarta 550 Uíge Negage 50 0 Municipal Punza

Tabela 4- Escolas do grupo 4

Num Num Or ero provincia municipiio comuna nome_escola ero d final Lunda Escola do Ensino 5 14 Lubalo 1 Norte Primário do Quelele Lunda Escola do Ens.Prim e Iº 30 40 Chitato Luachimo 2 Norte Cicl Ex- Cavalo Alto  Alto 92 118 Moxico E.E.P.nº528 3 Zambeze Zambeze 4 116 143 Moxico Moxico Luena E.E.P.nº Sede Escola Primária 825 Hoji- 196 247 Uíge Alto Cauale 5 Municipal ya-Henda 6 269 336 Huila Jamba Jamba Sede Kilamba Chicomba 352 422 Huila Chicomba Chimbalandongo 7 sede Cuvango 427 499 Huila Kuvango Fé Apostolica 8 Sede Caconda 452 524 Huila Caconda 11 de Novembro 9 Sede Sede Escola Primária nº 40 476 551 Uíge Uíge 10 Municipal Culo 11 512 593 Zaire Kuimba S.de Kanda Escola Primária nº 173 12 516 597 Zaire Noki Lufiku Escola Primária nº 150 Caimbamb 604 699 Benguela Sede Primária 28 de Agosto 13 o Primária de Hengue 632 727 Benguela Chongoroi Sede 14 Dova 15 641 736 Benguela Cubal Kapupa Primária de Kassua Caimbamb 658 753 Benguela Canhamela Primária do Bambi 16 o Cubal do 662 758 Benguela Bocoio Primária de Cavimbi II 17 Lumbo 18 664 760 Benguela Cubal Kapupa Primária de Caipumba 19 687 783 Benguela BaÃa Farta Sede CUNHINGA - ESCOLA PRIMÁ•RIA DE 764 871 Bié Cunhinga 20 SEDE EPONGOLOCO CALUSSING ESCOLA PRIMÁ•RIA DE 771 879 Bié Andulo 21 A CHIMBINDA ESCOLA PRIMÁ•RIA DE 802 910 Bié Andulo CHIVAULO 22 CARIWEKE CUNHINGA - ESCOLA PRIMÁ•RIA DE 805 913 Bié Cunhinga 23 SEDE LUTAMO CHITEMBO - ESCOLA PRIMÁ•RIA DE 855 967 Bié Chitembo 24 SEDE JAMBA YANGAZI ESCOLA PRIMÁ•RIA DE 872 986 Bié Nharea CAIEIE 25 CHIMUCO Cuando Primário Nº 83, do 946 1075 Menongue Sede 26 Cubango Cuatiri Cuanza Samba- 958 1097 Sector Cuso Quilemba 27 Norte Cajú Cuanza Conda 998 1153 Conda CUMBIRA 1º 28 Sul (Sede) Cuanza 1000 1155 Ebo Chôa CATENDE 29 Sul Cuanza Kilenda 1010 1165 Kilenda COMANDANTE BULA 30 Sul (Sede) Cuanza 1024 1180 Conda Cunjo HONGO 31 Sul Cuanza Kilenda 1067 1225 Kilenda BANZA-SACA 32 Sul (Sede) Porto Cuanza Porto 1078 1236 Amboim CASSANGE Sul Amboim 33 (Sede) 34 1138 1303 Cunene Cuanhama Nehoni Onambedi 35 1142 1307 Cunene Cuvelai Mupa Ondjabaitaii 36 1146 1311 Cunene Cuanhama Nehoni Ohandabu 37 1178 1344 Cunene Cuanhama Ondjiva Onameva I 38 1182 1348 Cunene Ombadja O. Yo Mungu Omupaia Namacund 1203 1369 Cunene Chiedi Chiedi - Sede 39 e ESCOLA DO ENSINO 1331 1510 Huambo Longonjo SEDE 40 PRIMÕRIO LUCAMBA ESCOLA PRIMÁ•RIA DA 1380 1560 Huambo Huambo SEDE 41 CHIVA 42 1398 1594 Malanje Kahombo Micanda Nhangue Kiwaba 1404 1600 Malanje Mufuma Mufuma 43 Nzoji 44 1427 1624 Malanje Malanje Sede Campo da Victória 45 1428 1625 Malanje Malanje Sede Deolinda Rodrigues 46 1431 1628 Malanje Malanje Sede Kudielela 47 1473 1676 Bengo Ambriz Tabi Escola Primária nº122 48 1484 1687 Bengo Quibaxe Piri Escola Primária nº 419 Benfica/Soss 1503 1718 Luanda Belas 49 ego 50 1510 1725 Luanda Belas Benfica/kifica