REPÚBLICA DE ANGOLA MINSTÉRIO DA EDUCAÇÃO PROJECTO DE APRENDIZAGEM PARA TODOS Crédito IDA 52540 Contrato de Prestação de Serviços AO-PAT-137072 -CS-INDV/19/92 ANÁLISE DA SITUAÇÃO DA AVALIAÇÃO DE IMPACTO VITOR AZEVEDO PEREIRA PONTUAL Maio de 2020 Índice Nenhuma entrada de índice de ilustrações foi encontrada. .... Erro! Marcador não definido. Introdução ....................................................................................... Erro! Marcador não definido. Contexto ........................................................................................................................................ 3 Análise ........................................................................................................................................... 3 Recomendações............................................................................................................................ 6 Anexo ............................................................................................. Erro! Marcador não definido. Índice de figuras Figura 1-Braços da avaliação de impacto do PAT1 ...................................................................... 4 Figura 2 - Definição Final das ZIP Elegíveis do PAT .................................................................... 5 Índice de tabelas Tabela 1- Braços da avaliação do PAT1 ....................................................................................... 4 Tabela 2- Diferenças de médias dos grupos 1, 2 e 3 ................................................................... 4 Tabela 3- Escolas do grupo3 ........................................................................................................ 8 Tabela 4- Escolas do grupo 4 ..................................................................................................... 10 Contexto Desde o fim da guerra civil, Angola tem passado por inúmeras transformações. A Economia tem crescido a taxas bastante elevadas desde então, as taxas de matrículas nas escolas primárias têm sofrido um grande aumento, pressionando pelo recrutamento de professores que nem sempre possuem as competências necessárias para dar aula na classe em que lecionam. Nesse processo, Angola tem descentralizado a gestão escolar, dado mais poder de decisão aos níveis provincial e municipal. O Projecto Aprendizagem para Todos (PAT) é financiado por um crédito da Associação Internacional de Desenvolvimento, foi aprovado em Setembro de 2013 e entrou em vigor em Junho de 2014. O projeto tem como principais componentes: Componente 1. Melhorar os Conhecimentos e Competências dos Professores e a Gestão Escolar em Escolas Primárias das Áreas Designadas do Projecto, com os objectivos:de (i) consolidar e expandir o modelo das Zonas de Influência Pedagógica a todas as províncias de Angola; (ii) preparar, implementar e testar um programa de formação contínua de professores, e (iii) contribuir para melhorar a gestão das escolas e a sua prestação de contas perante a comunidade local. Desde a concepção do Projeto, foi prevista uma Avaliação de seu Impacto, que estava planejada para permitir identificar as abordagens de melhor relação custo-benefício no decurso do Projecto antes da expansão para todas as regiões do país. Dentre os temas escolhidos para serem objeto da avaliação, podemos destacar (i) A quantidade de crianças fora da escola, (ii) A escolarização das crianças do sexo feminino (iii) Questões sociais, incluindo VIH, e (iv) Reforma da formação inicial de professores O modelo ZIP foi introduzido em nove províncias, sendo particularmente bem-sucedido na província austral do Namibe. O objectivo do modelo ZIP é a criação de uma rede em que as escolas podem partilhar experiências e colaborar entre si no trabalho do dia-a-dia, a fim de poderem prestar um serviço educativo de melhor qualidade. No início do Projecto, o conceito das ZIPs era novo e apenas estava a funcionar numa escala reduzida em metade das províncias de Angola. No entanto, desde que o Projecto começou, o conceito das ZIPs já foi adoptado em larga escala e existem agora mais de 1.800 ZIPs em todo o país. Para se ajustar a esta situação, a concepção da AI foi alterada para se concentrar menos nas ZIPs e avaliar antes o valor acrescentado das várias intervenções nas ZIPS visadas pelo Projecto, incluindo os subsídios às escolas, os comités escolares activos e as actividades de formação de professores em serviço. A idéia era poder distinguir o impacto de cada uma dessa ações sobre o resultado final nos alunos Durante a implementação do Projeto, uma série de fatores prejudicou a implementação concomitante da avaliação de impacto. Por exemplo, a rede de ZIPs foi expandida em velocidade maior do que a inicialmente planejada, assim como a formação dos professores. Este relatório visa justamente analisar esses fatores e a pertinência de novas coletas de dados para se avaliar o impacto da primeira etapa do Projeto Aprendizagem para Todos. Análise O Relatório de coleta de dados do EGRA e SDI mostra que houve comprometimento do tratamento, que havia sido sorteado entre 4 grupos. Figura 1-Braços da avaliação de impacto do PAT1 ZIP Elegíveis G1 G2 G3 COM Formação de COM Formação de Professores G4 Professores COM Formação de Professores SEM Reforço das ZIPs GRUPO DE COM Reforço das ZIPs COM Reforço das ZIPs SEM Projecto Educativo CONTROLO COM Projecto Educativo SEM Projecto Educativo (Subsídio (Subsídio) (Subsídio) Tabela 1- Braços da avaliação do PAT1 G1 G2 Formação Continua, Subsídio à Escola e Reforço das Formação Continua e Reforço das ZIP ZIP(50 ZIP) (50 ZIP) G3 G4 Formação Continua (50 ZIP) Grupo de Controlo (50 ZIP) A aleatoriedade do primeiro grupo claramente ficou comprometida pela seleção não aleatória das escolas, que incluiu critérios como a localização da escola, falta de equipamento adequado, falta de computador, dentre outros critérios. Em relação ao grupo 2, o Relatório da Linha de Base do EGRA e do SDi mostra que “as ZIP do Grupo 2 já tinham sido seleccionadas pela Equipa de Gestão do Projecto (EGP), sendo esse grupo de aproximadamente 95 ZIP”. Ou seja, não houve aleatoriedade na escolha das escolas do grupo 2. Os dados contidos no arquivo “AMOSTRA FINAL_ANTES DO PILOTO.xlsx” mostra 3 grupos de escolas, que provavelmente são compostos pelos grupos 1, 2 e 3. Não sabemos se as escolas do grupo 4 foram entrevistadas ou não. Caso não tenham sido entrevistadas, será uma enorme pena, pois as escolas dos grupos 1, 2 e 3 receberam o tratamento, e portanto não teríamos nenhum grupo de controle. Como era de se esperar, os grupos 1, 2 e 3 são bastante diferentes entre si, como atesta a tabela abaixo: Tabela 2- Diferenças de médias dos grupos 1, 2 e 3 t-test t-test Grupo: 3 1 2 Difference Difference Variável N Mean/SE N Mean/SE N Mean/SE (3)-(1) (3)-(2) Num de aunos 52 482.981 43 1040.953 113 1321.973 -557.973*** -838.993*** [58.093] [114.719] [103.522] Num de professores 49 14.735 39 25.359 113 46.159 -10.624** -31.425 [3.486] [2.664] [13.128] Num de salas 49 6.327 44 10.523 111 12.288 -4.196*** -5.962*** [0.580] [1.464] [0.754] Tem sala 55 0.655 47 0.596 119 0.655 0.059 -0.001 [0.065] [0.072] [0.044] Tem contacto 55 0.709 47 0.766 119 0.731 -0.057 -0.022 [0.062] [0.062] [0.041] Mais de 35 kms 55 0.291 47 0.255 119 0.092 0.036 0.198*** [0.062] [0.064] [0.027] Mais de 3 profs 55 0.927 47 0.851 119 0.899 0.076 0.028 [0.035] [0.052] [0.028] Mais de 50 alunos 55 0.964 47 0.894 119 0.933 0.070 0.031 [0.025] [0.045] [0.023] Como se pode perceber, as escolas do grupo 3 são muito menores do que as escolas dos grupos 1 e 2. Elas possuem na média 557 alunos a menos do que as escolas do grupo 1, e 838 alunos a menos do que as escolas do grupo 1. Elas possuem também menos professores e salas, e tem maior chance de estarem afastadas. Sobre os grupos 3 e 4, o documento afirma que “Para adicionar alguma aleatoriedade ao processo de seleção de ZIP para cada grupo, as ZIP dos Grupos 3 e 4 foram selecionadas de forma aleatória”. A escolha das escolas dos grupos 3 e 4 está descrita no arquivo “Para seleccionar os grupos 3 e 4 (1).docx5.docx”. O documento contém a descrição dos procedimentos para a escolha dos dois grupos. Basicamente, pegou-se a lista de 1791 ZIPs, exclui-se os grupos 1 e 2, e da lista restante foram sorteadas as escolas do grupo 3. Repetindo o processo, excluíram-se então as escolas do grupo 3, e foram sorteadas as escolas do grupo 4. Segundo o relatório do EGRA e SDI, os critérios separando os 4 grupos foram alterados, e todas as escolas dos grupos 1, 2 e 3 receberam a formação de professores, o reforço das ZIPs e o subsídio com o projeto educativo. Figura 2 - Definição Final das ZIP Elegíveis do PAT ZIP Elegíveis G1 COM Formação de Professores G2 COM Reforço das ZIPs GRUPO DE CONTROLO COM Projecto Educativo (Subsídio) O que isso significa? Primeiro, significa que a avaliação de impacto não consegue mais separar o efeito de cada um dos componentes do projecto. Ou seja, não é possível mais distinguir o efeito do reforço das ZIPs do efeito da formação de professores. Isso, porém, não invalida a avaliação de impacto, pois temos dois grupos de escolas, o grupo 3 e o grupo 4, que foram escolhidos de forma aleatória. O grupo 3 recebeu os 3 componentes do projeto, e o grupo 4 não recebeu nenhum componente. Logo, podemos avaliar o “pacote” do projeto comparando as escolas do grupo 3 com as escolas do grupo 4. Podemos faze isso desde que saibamos quais escolas pertencem ao grupo 3 quais escolas pertencem ao grupo 4. Temos como saber quais escolas estão no grupo 3 e quais estão no grupo 4? Sim. O arquivo “Para seleccionar os grupos 3 e 4 (1).docx5.docx” mostra quais escolas estão em cada grupo. A lista de escolas em cada grupo encontra-se no apêndice deste relatório. Uma vez que ambos os grupos foram escolhidos de forma aleatória, deveríamos esperar que as escolas dos dois grupos fossem parecidas. Não me foi enviada nenhuma base de dados que permitisse fazer tal comparação. Não consegui, por exemplo, encontrar várias das escolas dos grupos 3 e 4 entre as bases constantes nos arquivos “AMOSTRA FINAL_ANTES DO PILOTO.xlsx” ou na base “Cópia de SDI Modulo3 577 escolas.xlsx”.