Avaliação da atenção primária à saúde e a incorporação da tecnologia da informação para a melhoria da qualidade da avaliação / Evaluation of primary health care and the incorporation of information technology to improve the quality of the evaluation

RESUMO

Apesar da ascendência de avaliações na Atenção Primária à Saúde, com possibilidades para o desenvolvimento de meta-avaliações, bem como, o incremento de investimentos e acesso às Tecnologias da Informação, com aumento de sua aplicabilidade em processos avaliativos, principalmente, para a coleta de dados e disseminação dos resultados, até o momento, são incipientes estudos meta-avaliativos que evidenciem as consequências das relações que se estabelecem entre as tecnologias e os avaliadores na qualidade da avaliação. Utilizando a Scoping Review, o Estudo de Caso e a estrutura conceitual da sociomaterialidade, esta tese procurou contribuir para este campo de pesquisa e para as práticas avaliativas, avaliando a incorporação da Tecnologia da Informação na avaliação da Atenção Primária à Saúde no Brasil considerando os padrões internacionais de qualidade. A Scoping Review teve o objetivo de mapear os usos da meta-avaliação dos estudos avaliativos desenvolvidos na Atenção Primária à Saúde. Foram incluídos 23 estudos, publicados entre 1999 e 2018, predominantemente realizados no Brasil. Tiveram mais ênfase as meta-avaliações somativas, com foco em programas de saúde e na gestão da Atenção Primária, que utilizaram como padrões avaliativos os recomendados pelo Joint Committeeon Standards for Educational Evaluation. O Estudo de Caso teve abordagem qualitativa. Participaram 07 técnicos da coordenação do Ministério da Saúde e 47 pesquisadores de Instituições de Ensino e Pesquisa, com uma amostra total de54 participantes. A coleta de dados ocorreu entre julho de 2018 a julho de 2019, utilizaram-se entrevistas, grupos focais e análise documental. Os dados foram categorizados por padrões de qualidade com uso do software Atlas ti, seguido de análise de conteúdo de Bardin. Para o estudo de caso sobre coleta de dados, os resultados evidenciaram que a tecnologia viabilizou a realização da avaliação em todo território nacional; contribuiu para a operacionalização de uma avaliação com grande escopo temático; forneceu recursos para a gestão da atividade de campo; minimizou erros, agilizou e homogeneizou a coleta; garantiu a integralidade das informações necessárias com o mínimo de inconsistência, permitindo o alcance de resultados uteis e válidos para certificação das equipes, políticas de saúde e pesquisas. Além disto, fatores como dificuldade de manuseio, inoperância do sistema e falta de investimentos em equipamentos e recursos humanos podem representar possíveis restrições para a eficiência da aplicação da tecnologia na avaliação. Quanto ao estudo sobre disseminação dos resultados, constaram-se avanços na visualização dos dados e na implementação de iniciativas de dados abertos, possibilitando sua disponibilidade para profissionais, formuladores de políticas e universidades. Desafios relacionados ao tempo de entrega dos relatórios, restrição de acesso, referência à falta de interesse e habilidades digitais, influenciaram no alcance dos objetivos esperados pelo proponente da avaliação. Considera-se que a incorporação da Tecnologia da Informação tem potencial ao alcance de padrões de qualidade, oportunizando a implementação de avaliações mais eficazes, com a produção de melhores resultados, atuando construtivamente no processo de melhorias de desempenho das equipes de saúde e da gestão, induzindo a redefinição dos seus processos prioritários de trabalho, com vistas ao aprimoramento e fortalecimento da Atenção Primária à Saúde (AU).

ABSTRACT

Despite the ascendancy of evaluations in Primary Health Care, with possibilities for the development of meta-evaluations, as well as the increase in investments and access to Information Technologies, with an increase in its applicability in evaluation processes, mainly for the collection of data and dissemination of results, so far, are incipient meta-evaluative studies that show the consequences of the relationships established between technologies and evaluators in the quality of the assessment. Using the Scoping Review, the Case Study, and the conceptual structure of sociomateriality, this thesis sought to contribute to this field of research and evaluative practices, evaluating the incorporation of Information Technology in the evaluation of Primary Health Care in Brazil considering international quality standards. The scoping review was developed following the Joanna Briggs Institute manual to map the uses of the meta-evaluation of evaluative studies carried out in Primary Health Care. 23 studies, published between 1999 and 2018, predominantly carried out in Brazil, were included. There was more emphasis on summative meta-evaluations, with a focus on health programs and on the management of Primary Care, which used as evaluative standards those recommended by the Joint Committee on Standards for Educational Evaluation. The Case Study had a qualitative approach. 07 technicians from the coordination of the Ministry of Health and 47 researchers from Education and Research Institutions participated, with a total sample of 54 participants. Data collection took place between July 2018 and July 2019, using interviews, focus groups, and document analysis. Data were categorized by quality standards using the Atlas ti software followed by Bardin's content analysis. For the case study on data collection, the results showed that the technology made it possible to assess the national territory; contributed to the operationalization of an assessment with a large thematic scope; provided resources for field activity management; minimized errors, streamlined and homogenized the collection; ensured the completeness of the necessary information with a minimum of inconsistency, allowing the achievement of useful and valid results for the certification of teams, health policies and research. In addition, factors such as difficulty in handling, inoperability of the system, and lack of investment in equipment and human resources can represent possible restrictions for the efficiency of the application of technology in the assessment. As for the study on the dissemination of results, advances were found in data visualization and the implementation of open data initiatives, enabling its availability to professionals, policymakers and universities. Challenges related to reporting delivery time, access restriction, reference to lack of interest, and digital skills influenced the achievement of the objectives expected by the evaluation proponent. It is considered that the incorporation of Information Technology has the potential to reach quality standards, providing opportunities for the implementation of more effective assessments, with the production of better results, acting constructively in the process of improving the performance of health and management teams, inducing the redefinition of its priority work processes, to improve and strengthen Primary Health Care (AU).