Diretório Leopoldo de Meis (DLDM): sistema de apoio à avaliação institucional da pós-graduação brasileira

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), uma das principais agências de fomento da pesquisa científica no Brasil, é responsável pela Avaliação do Sistema Nacional de Pós-Graduação (SNPG). O objetivo do Sistema de Avaliação da CAPES é assegurar e manter a qualidade da Pós-Graduação (PG) e identificar assimetrias regionais e de áreas estratégicas do conhecimento no SNPG para fins de sua expansão (CAPES, 2022). Para gerenciar o desempenho dos PPGs nos processos avaliativos, a CAPES criou a Plataforma Sucupira, que coleta informações e funciona como base de referência do SNPG (CAPES, 2022a). Por meio da Plataforma Sucupira, os PPGs importam a produção bibliográfica e a produção técnica (produção científica) do Currículo Lattes de seus docentes e enviam seus relatórios anuais de desempenho institucional para a avaliação realizada pela CAPES. Apesar dos grandes avanços no Sistema de Avaliação da CAPES, com a implementação da Plataforma Sucupira, ainda é um desafio para os PPGs a obtenção e a organização de informações para o seu preenchimento. Algumas informações exigidas no preenchimento da Plataforma Sucupira não constam Currículo Lattes e outras não são importadas de forma automática, o que força os PPGs a desenvolverem instrumentos para a coleta de dados adicionais e coleta manual de informações. Diante das diversas pesquisas sobre a avaliação da PG brasileira realizadas coordenadora do presente projeto (Profa. Dra. Ediane Maria Gheno), algumas problemáticas foram identificadas (GHENO et al. 2019; 2019a, 2020, 2021a, 2021b, 2021c, 2022): a) Muitas informações necessárias para o Preenchimento da Plataforma Sucupira não são importadas de forma automática do Currículo Lattes pela Plataforma Sucupira (ex.: Projetos de Pesquisa, Projetos de Extensão, Docentes com Bolsa Produtividade em Pesquisa do CNPq, Bolsistas de Iniciação Científica) e outras informações não constam no Currículo Lattes (ex.: Financiamento; Grupo de Pesquisa registrados no CNPq, etc.); b) A Plataforma Sucupira importa toda a Produção Bibliográfica e Técnica do Docente, necessitando que cada item seja associado (de forma manual) à: participação ou não de discentes/egressos, Linha de Pesquisa e Projeto de Pesquisa. Além disso, certos itens relacionados à produção e as atividades científicas necessitam de informações adicionais, que não estão no C. Lattes (Ex.: Livros e Capítulos é necessário informar o tipo de editora (Universitária, Comercial), se teve conselho editorial nacional ou internacional, etc.); e c) Ausência de um Sistema para que os PPGs possam ter autonomia no Monitoramento e na Avaliação de seu desempenho. Essas problemáticas forçam os PPGs a desenvolverem instrumentos e/ou estratégias, muitas vezes de forma manual, utilizando-se de reuniões individuais com os docentes e solicitação de informações via e-mail (arquivos em Word e/ou no Excel) ou via google drive e microsoft oneDrive. A utilização desses recursos/estratégias dificulta o armazenamento, a recuperação, a sistematização e a análise dos dados e, consequentemente, a realização de uma autoavaliação em tempo real. Diante dessas demandas, viu-se a necessidade de criar um Sistema de Informação que atendesse às características de um Sistema de Informação para a PG, a fim de facilitar o preenchimento da Plataforma Sucupira e, consequentemente, servir de sistema de Monitoramento e de Avaliação (Autoavaliação) de desempenho institucional em tempo real da produção e das atividades científicas dos docentes com seus discentes/egressos. O Diretório Leopoldo de Meis (DLDM) foi idealizado e criado pela coordenadora do presente projeto no período do seu Pós-Doutorado na UFRGS e na UFRJ, e contou a colaboração de professores e discentes da instituição. O processo de idealização e de desenvolvimento foi documentado e registrado por meio das seguintes publicações: SANTOS et al. 2022 e SANTOS et al., 2022a). No artigo Santos et al. 2022 são documentados todos os processos e vantagens em utilizar o DLDM. Objetivo central do DLDM é contribuir para a avaliação interna e externa dos Programas de Pós-Graduação (PPGs) brasileiros. Trata-se de um Diretório de dados que pode subsidiar os coordenadores dos PPGs no preenchimento da Plataforma Sucupira e na Avaliação Institucional/Autoavaliação. Sistemas que facilitam o gerenciamento de informações para a autoavaliação e para o preenchimento da Plataforma Sucupira são essenciais para garantir que os coordenadores e a comunidade científica tenham informações relevantes que possam direcionar ações com vistas à melhoria da PG. Diante das mudanças dos processos avaliativos realizados pela CAPES, especialmente no que diz respeito aos processos de autoavaliação dos PPGs, a informação tornou-se essencial para garantir que pontos fracos e fortes sejam diagnosticados e que novos indicadores (advindos dos próprios PPGs) possam ser introduzidos em futuras avaliações da PG. Laudon e Laudon (2012, p. 15) definem sistema de informação como um “conjunto de componentes inter-relacionados que coletam (ou recuperam), processam, armazenam e distribuem informações para apoiar os processos de tomada de decisão e de controle em uma organização”. Nessa linha, Laudon e Laudon (2012) destacam que há três atividades essenciais de um sistema de informação para que se efetive a produção de dados para posterior tomada de decisões, controle de operações, análise de problemas e criação de novos produtos ou serviços: Entrada de dados, Processamento e Saída de informação. Desse modo, o presente projeto de pesquisa objetiva realizar um estudo de viabilidade para o uso do Diretório Leopoldo de Meis-DLDM pelos PPGs do Instituto de Ciências Sociais Aplicadas (ICSA), da Universidade Federal do Pará (UFPA) e avaliar o impacto das informações geradas nos contextos internos e externos à avaliação de desempenho institucional. Pelos anos dedicados à Educação em Ciências no país, o nome do Diretório é uma homenagem ao cientista, médico e educador Leopoldo de Meis, que foi Professor Emérito da Universidade Federal do Rio de Janeiro (UFRJ) e teve um papel primordial em projetos de Educação em Ciências no país (ACADÊMIA BRASILEIRA DE CIÊNCIAS, 2021) e foi um dos maiores apoiadores na criação do PPG em Educação em Ciências da UFRGS e outros PPGs brasileiros. Sobre o DLDM em termos de estrutura O front-end é a interface com o usuário. Na versão 1.1.0, que foi conceituada, o DLDM disponibiliza dois níveis de usuários: 1) Coordenador/Técnico e 2) Docente [Figuras 3 e 4]. Em relação ao usuário Coordenador/Técnico, a permissão é para: a) cadastrar docentes; b) atribuir categoria de vínculo do docente (permanente, colaboração e visitante); c) inserir linhas de pesquisas do PPG; d) editar e excluir informações classificadas e adicionadas pelos docentes; e) exportar todos os dados que foram classificados e não classificados pelos docentes em diversos formatos (txt, csv e xlsx); e f) visualizar, de forma gráfica, o número de total de artigos por estrato Qualis do PPG e dos docentes de forma individualizada. Além disso, tem a função “Carregar Lattes” de todos os docentes. Quando o docente fizer qualquer alteração no Currículo Lattes, o próprio Coordenador/Técnico atualiza o DLDM. No caso do usuário Docente, que tem um painel administrativo individual, a permissão é para: a) visualizar as suas produções e atividades científicas (conforme os nove módulos existentes no DLDM); b) classificar as produções e as atividades científicas (atribuir a contribuição científica ao PPG de vínculo); c) preencher os campos com informações complementares aos existentes no Currículo Lattes; d) visualizar o número total de artigos em periódicos pelos estratos Qualis/CAPES do PPG que já foram classificados pelos demais docentes; e e) visualizar o número total de artigos pelos estratos Qualis que foram classificados pelo docente para o PPG de vínculo. Além disso, existe a função “Carregar Lattes”. Ao fazer qualquer alteração no Currículo Lattes, o próprio Docente atualiza as suas produções no DLDM. Para todos os itens classificados para o PPG de vínculo (função salvar), há a possibilidade de excluir o item que foi classificado (função excluir). O DLDM tem rotinas que são realizadas de forma manual, como o cadastro de novos PPGs e o cadastro de usuários administradores. A composição desses dados se dá via planilhas no Software Excel.