Como analisar as produções de Ciência e Tecnologia da sua instituição

Todos os anos as Instituições de Ciência, Tecnologia e Inovação (ICTIs) e as Instituições de Ensino Superior (IES) têm o desafio de mensurar as suas respectivas produções de Ciência e Tecnologia. Esta mensuração serve para conhecimento interno, na medida em que ela se converte em um elemento fundamental para o planejamento e a avaliação do que está sendo produzido pelos pesquisadores das diferentes unidades e cursos da instituição. E ela serve também para apresentações para públicos externos, visando aumentar a divulgação das pesquisas, prestar contas para a sociedade ou apresentar ao mercado as competências técnico-científicas da instituição.
O trabalho de localizar, reunir e tratar as produções de Ciência e Tecnologia da instituição de forma manual exige muito tempo e recursos da instituição, pois costuma envolver diversas pessoas para tabular as produções dos Currículos Lattes de forma manual.
Sem contar que esse processo pode comprometer a qualidade dos dados devido à dificuldade e complexidade desse trabalho – é preciso tratar da redundância das produções em função das coautorias, tratar as diferentes formas de preenchimento das produções pelos autores, estratificar as produções em função de critérios qualitativos, etc.
Assim, o gestor precisará contar com o apoio de uma solução tecnológica que trate os dados das produções adequadamente e sem intervenção humana, e que disponibilize ferramentas para produção dos relatórios e indicadores de Ciência e Tecnologia de seu interesse.
A Plataforma Stela Experta©, além de permitir a formação e atualização automática e contínua de um banco de dados com os Currículos Lattes dos docentes, discentes e técnicos administrativos da IES/ICTI, disponibiliza uma grande diversidade de filtros e opções para facilitar a análise das produções técnico-científicas da instituição, incluindo a geração de relatórios, de indicadores gráficos e de mapas de tópicos que apresentam os termos mais citados nas produções.
Por meio de um ambiente analítico com interface bastante simples, com a Stela Experta© o gestor poderá analisar as produções de Ciência e Tecnologia de toda a instituição, de determinado Campus ou unidade, curso de graduação ou pós graduação, de um conjunto específico de pessoas de seu interesse ou de determinado grupo de pesquisa da instituição.
Ele poderá ainda analisar as produções por ano de publicação, tipo da produção, área de conhecimento, indicação de registro ou patente, nome e titulação máxima do autor, tema a que se refere (busca textual livre), enquadramento funcional ou regime de trabalho dos autores, entre outras opções.
Caso o gestor tenha a necessidade, por exemplo, de produzir um relatório para análise e divulgação das produções técnico-científicas de toda a instituição no último ano, deverá selecionar a pergunta “Quais são as produções da instituição?” no tema “Produções” e em seguida utilizar o filtro de ano da produção. Neste exemplo, identificamos 13.489 itens de produção de Ciência e Tecnologia em 2016.
Inicialmente o sistema apresentará a listagem de todas as produções de Ciência e Tecnologia daquele ano realizadas pelos colaboradores da IES, independente do tipo da produção. Este relatório já apresenta as produções sem dupla contagem, ou seja, descarta automaticamente as redundâncias em função das coautorias.

Se o gestor desejar gerar um relatório em Excel com todos os dados das produções selecionadas, basta acionar o botão “Exportar”. Utilizando recursos do próprio Excel, como tabelas dinâmicas e filtros, o analista poderá utilizar a planilha para produzir o relatório no formato que melhor atenda a sua necessidade.

O gestor poderá obter também uma radiografia completa sobre as produções de Ciência e Tecnologia selecionadas através de um conjunto de indicadores gráficos que o ajudarão a compreender melhor o perfil das produções e das pessoas que as produzem. Para tal, basta selecionar a pergunta “Qual é o perfil das produções da instituição?”.
O gestor poderá analisar a distribuição das produções segundo o enquadramento funcional, regime de trabalho e titulação máxima dos autores, a área de conhecimento e tipo das produções (bibliográfica, técnica, artística/cultural), nível das orientações concluídas e em andamento.
Seguindo o nosso exemplo, iniciaremos nossa análise pelo perfil dos autores das produções de Ciência e Tecnologia. Podemos verificar que os professores enquadrados como “Auxiliar I” foram os que mais produziram em 2016, respondendo por 5.312 produções, seguidos pelos “Auxiliar III” com 4.293 itens. O perfil que menos produziu naquele ano foi o dos enquadrados como “Assessor”, com apenas duas produções.
O gestor poderia continuar explorando essas informações, analisando a nova distribuição considerando apenas determinados tipos de produções de seu interesse (por exemplo, os artigos publicados em periódicos, livros e capítulos, orientações, participações em bancas e em eventos, etc.).

Nessa mesma linha verificamos que os doutores são os mais produtivos, respondendo por 56,31% das produções com 8.252 itens, seguidos pelos colaboradores com mestrado acadêmico que representam 30,15% das produções, com 4.418 itens.

Indo um pouco mais além, identificamos que os autores que são “horistas” responderam por 7.070 itens de produção em 2016, ou seja, 52% de todas as produções. Essa informação pode despertar o gestor para uma eventual fragilidade, porque são estas pessoas, que geralmente não mantêm vínculos muito duradouros com a instituição, que mais concentram as produções da IES.
Se selecionarmos apenas os artigos publicados em periódicos, uma produção mais qualificada e complexa de ser realizada, neste mesmo ano de análise veremos que os horistas foram responsáveis por 360 artigos, ou seja, quase 47% do total – um volume bastante expressivo.

Analisando sob outra ótica, podemos identificar o perfil das produções em si. Por exemplo, ao analisarmos as produções por grande área do conhecimento, identificaremos que a grande maioria das produções não tem nenhuma área associada. São 11.970 produções para as quais os respectivos autores não informaram nenhuma grande área de conhecimento ao preencher o CV-Lattes.
Um gráfico como este pode ser um bom aliado na identificação de problemas de preenchimento de dados nos currículos e, consequentemente, motivar a instituição a orientar os colaboradores a melhorar a qualidade das informações declaradas no CV-Lattes. Se o gestor clicar sobre a barra no gráfico que representa o total de produções sem nenhuma grande área associada, ele irá obter um relatório com os dados das produções e de seus autores, facilitando os futuros ajustes nos currículos.

Ao analisarmos a distribuição das produções bibliográficas de 2016, identificaremos que do total de 2.482 produções bibliográficas, a maior parte, 767, são artigos publicados em periódicos (31%). Em seguida aparecem 571 trabalhos publicados em anais de eventos (23% do total), 422 capítulos de livros (17%) e 144 livros (6%).
Ou seja, naquele ano a IES conseguiu uma boa concentração de sua produção de Ciência e Tecnologia nos tipos de produções bibliográficas que tem mais expressividade. A mesma análise pode ser feita para as produções técnicas, artísticas/culturais, orientações concluídas ou em andamento, participação em bancas e eventos.

Para facilitar o uso dessas informações analiticas em novos estudos, relatórios e apresentações o gestor poderá exportar os gráficos gerados e os dados associados a eles para uma planilha Excel. Para tal, basta clicar no botão “Exportar”, selecionar os gráficos de seu interesse e salvar a planilha.


Por outro lado, os gestores de pesquisa e pós-graduação da instituição poderão realizar estudos semelhantes considerando apenas as produções dos docentes/discentes que atuam em determinado curso. No exemplo a seguir estamos analisando as produções de Ciência e Tecnologia geradas no último quadriênio (2013 a 2016) pelos docentes que atuam no Programa de Mestrado e Doutorado em Odontologia.
Após o gestor realizar os filtros com poucos cliques de mouse a Stela Experta© nos informa que entre as 495 produções geradas no período pelos docentes do programa, temos 229 produções bibliográficas, 77 participações em bancas, 70 orientações concluídas, 66 produções técnicas, 37 participações em eventos e 16 orientações em andamento.
Tendo em vista que nossa análise recai sobre a produtividade do programa de pós-graduação no quadriênio e não sobre a produção individual, estes indicadores consideram os artigos sem dupla contagem, ou seja, desconsideram as eventuais coautorias. Com um simples clique de mouse o gestor poderá gerar indicadores com dupla contagem, caso queira avaliar a performance individual dos docentes do programa no período em questão.

Seguindo nesta análise, podemos identificar que, do total de 495 produções, 155 são artigos publicados em periódicos (ou seja, 31% dos itens) e que existe uma grande variação entre o total de artigos publicados em cada um dos anos, com destaque especial para 2015, quando tivemos apenas 26 artigos, contra 47 em 2016.
Analisando esta fotografia do passado o gestor poderia correlacionar a baixa produção em 2015, por exemplo, com fatos ocorridos à época que expliquem tal realidade, bem como com as ações realizadas em 2016 que fizeram com que a produção de artigos quase duplicasse. Já ao analisar essas informações em tempo real o gestor poderá se antecipar e propor ações e políticas que visem manter ou aumentar a produtividade dos docentes do curso.

O gestor poderá introduzir também um critério qualitativo em sua análise, estratificando os artigos dos docentes do programa por estrato Qualis, segundo as pontuações atribuídas pela área de avaliação “Odontologia” da Capes, por exemplo (a solução permite ao gestor utilizar também outros critérios qualitativos em sua análise, como o JCR – Journal Citation Reports, Scopus h-index do periódico e o SJR – SCImago Journal Rank).
Após aplicar o filtro Qualis/Periódicos podemos analisar a distribuição dos artigos por estrato Qualis. Dos 155 artigos publicados, temos 150 que são classificados pela área de Odontologia em algum estrato Qualis, conforme demonstra a figura a seguir. Destes, 60 são artigos publicados em periódicos classificados como A1 pela área de avaliação, 21 são A2 e o restante está distribuído nos estratos B e C. Veja que 54% dos artigos publicados pelo programa no quadriênio estão distribuídos nos estrato A1 e A2, o que é muito significativo.

Tendo em vista que o gestor poderá exportar os dados dos artigos do programa para planilha Excel, incluindo seus respectivos estratos Qualis, ele poderá utilizar esse relatório para, por exemplo, checar se todos os artigos qualificados que constam nos currículos dos docentes estão devidamente registrados na Plataforma Sucupira, evitando que publicações importantes fiquem de fora da avaliação do programa.
Além de analisar as informações utilizando indicadores gráficos e relatórios textuais, conforme apresentado anteriormente nesta matéria, o gestor poderá analisar os temas que apareceram com mais frequência nos artigos publicados no período em questão. Para tal, basta selecionar a pergunta “Quais as temáticas das produções da instituição?” e o gestor obterá um mapa de tópicos que apresenta os termos mais utilizados nos artigos considerando as palavras-chave, título e informações adicionais das produções.
O gráfico mostra que o termo “Apical Periodontics” é o que mais aparece nos artigos (19 vezes), seguido pelos termos “Theet”, “Cyclic fatigue”, “Reciproca”, “Root canal fillings” e “Fatigue life”. Com este recurso o gestor poderá compreender mais claramente quais são os temas que estiveram em evidências nas pesquisas do programa nos últimos 4 anos.

A Plataforma Stela Experta© permite também que o gestor faça simulações, retirando ou incluindo pessoas no grupo para analisar o impacto da perda de produções em função do desligamento de determinado docente do programa, bem como analisar a contribuição que determinado docente traria em termos de produção qualificada ao ingressar no programa. Trata-se de uma importante ferramenta para o gestor antecipar-se nos processos de formação e manutenção do corpo docente dos programas, a fim de maximizar a produtividade do grupo.
Considerando que a Stela Experta© mantém automática e constantemente atualizada a base de currículos da instituição, as análises da produção de Ciência e Tecnologia serão realizadas a partir dos últimos dados publicados pelos colaboradores em seus currículos Lattes, o que evita a defasagem de informações que geralmente ocorre quando as informações são tratadas manualmente pelos profissionais da instituição. Com essa radiografia completa e atualizada da produção técnico-científica da IES/ICTI é possível realizar uma avaliação mais precisa, fidedigna e transparente.