Desenvolvimento de estratégias de detecção multimodal de adulterações da face e voz em vídeos digitais

O presente projeto intitulado "Desenvolvimento de estratégias de detecção multimodal de adulterações da face e voz em vídeos digitais" propõe o estudo e desenvolvimento de métodos computacionais avançados para identificação de manipulações em conteúdos multimídia, especialmente vídeos com adulterações simultâneas de rosto e voz. Tais adulterações, realizadas, em geral, por técnicas baseadas em aprendizado profundo (deep learning), vêm se tornando uma ameaça crescente à integridade de informações, à privacidade e à segurança digital, uma vez que podem ser utilizadas em campanhas difamatórias, disseminação de desinformação e golpes diversos. A proposta aborda o desafio técnico e científico de detectar essas manipulações mesmo após o uso de técnicas de pós-processamento destinadas a ocultar vestígios das alterações. O projeto considera que qualquer modificação de conteúdo multimídia deixa rastros detectáveis, sejam eles espaciais, espectrais, estatísticos ou geométricos. Assim, pretende-se investigar abordagens que combinem recursos derivados de visão computacional, processamento de sinais e aprendizado de máquina para detecção generalizável, mesmo em condições adversas. Entre os principais objetivos, destacam-se: a) o desenvolvimento de métodos inovadores baseados em deep learning para detecção efetiva de adulterações de rosto e voz em vídeos digitais; b) a realização de um levantamento bibliográfico abrangente; c) o estudo e utilização dos principais conjuntos de dados públicos utilizados na área; d) a definição de uma metodologia clara de avaliação de desempenho; e e) a formação de recursos humanos especializados em diferentes níveis (graduação e pós-graduação). A metodologia do projeto compreende a organização de uma equipe multidisciplinar e multi-institucional, composta por pesquisadores da UFPA e da Unifesspa, com diferentes níveis de titulação. As atividades estão organizadas em cronogramas anuais e incluem: implementação de algoritmos, realização de testes preliminares, definição de desenho experimental, desenvolvimento de módulos específicos para detecção de rosto e voz adulterados, e posteriormente, a fusão desses módulos em um sistema multi-modal de detecção. Além disso, o projeto adota uma forte diretriz de ciência aberta, com vistas a garantir a reprodutibilidade dos experimentos realizados, o que inclui a publicação dos códigos e protocolos em repositórios públicos (como GitHub e OSF). Também se propõe a divulgar os resultados por meio de preprints, artigos científicos, workshops e inserção de conteúdos em disciplinas acadêmicas. Os principais conjuntos de dados a serem utilizados incluem: a) Celeb-DF, com vídeos manipulados de alta qualidade; b) DFDC, criado a partir de uma colaboração com grandes empresas de tecnologia; c) FaceForensics++, contendo vídeos com diferentes tipos de manipulação; d) WildDeepfake, com vídeos deepfake reais extraídos da internet; e e) DeeperForensics, criado sob condições experimentais controladas. As métricas de desempenho a serem aplicadas nas avaliações incluem acurácia, precisão, recall, F1-score, taxa de falsos positivos (FPR), razão interseção/união (IoU) e área sob a curva ROC (AUC), com vistas a assegurar análises estatísticas rigorosas. Os resultados esperados incluem: a) Defesa de TCCs e dissertações de mestrado em temas alinhados ao projeto de pesquisa; b) Publicações científicas (mínimo de cinco artigos); c) Proposição de nova disciplina ou a inserção de conteúdo relacionado ao projeto em disciplinas já existentes; d) Organização de workshops de divulgação científica junto à comunidade acadêmica local; e e) Criação de infraestrutura para testes e desenvolvimento de novas técnicas de detecção de manipulação de vídeos digitais. Por fim, o projeto reforça o compromisso com a segurança digital e a capacitação local de pesquisadores, contribuindo para a soberania tecnológica na área de análise forense de imagens e vídeos, especialmente no contexto da crescente disponibilidade de ferramentas de manipulação acessíveis a qualquer usuário da internet.