Projetos de I&D

A investigação desenvolvida na UAlg vai muito além dos muros da academia, estendendo-se às mais variadas esferas da sociedade. Fica a saber onde está a UAlg no país e no mundo e conhece os projetos em curso.
Partilhar
SIGNFLOW: Ecossistema Inteligente de Comunicação e Aprendizagem em Língua Gestual

O projeto SIGNFLOW introduz cinco características inovadoras fundamentais que representam avanços significativos face às soluções existentes no mercado:1. ECOSSISTEMA INTEGRADO DE APLICAÇÕES ESPECIALIZADAS (20%): Ao contrário das soluções fragmentadas do mercado atual, onde cada ferramenta opera isoladamente sem partilha de dados ou continuidade de experiência, o SIGNFLOW será um ecossistema completo e integrado de aplicações que partilham o mesmo núcleo tecnológico (e.g., SF.SLM, SF.Avatar, SF.Contextualizer, SF.GestureEncoder) mas são especializadas para diferentes contextos: SF.Education para uso em salas de aula com tradução instantânea bidirecional entre alunos surdos e docentes ouvintes; SF.Family para comunicação familiar bilíngue quotidiana, apoiando os 90% de crianças surdas que nascem em famílias ouvintes; SF.Conference para eventos e conferências profissionais com tradução simultânea multiparticipante. Este ecossistema permite que um utilizador transite naturalmente entre diferentes contextos da sua vida, com todos os sistemas partilhando progressos de aprendizagem, preferências de utilizador e vocabulário personalizado, garantindo interoperabilidade e uma experiência de utilizador coesa. 2. SISTEMA DE APRENDIZAGEM AUTOMÁTICA CONTÍNUA (20%): O SF.AutoLearner representa uma inovação disruptiva inexistente nas soluções atuais. Este sistema implementará algoritmos de aprendizagem semi-supervisionada que permitirão ao SIGNFLOW aprender continuamente a partir de vídeos com tradução simultânea, expandindo seu vocabulário de modo automático e contínuo. Esta característica garante a evolução constante do sistema, adaptando-se a novos contextos, vocabulários especializados e variações regionais, uma limitação crítica das soluções existentes. Permite ainda expandir o sistema para suportar novas línguas gestuais e contextos de uso. 3. TRADUÇÃO BIDIRECIONAL EM TEMPO REAL E SUPORTE MULTILINGUE (25% ): Ao contrário das soluções atuais que oferecem apenas tradução unidirecional com vocabulários limitados e focam-se numa única língua gestual, o SIGNFLOW implementará um Modelo de Linguagem Gestual (SF.SLM) baseado em arquiteturas Transformer Multimodais Encoder-Decoder com suporte multilingue. Esta inovação pretende tradução em tempo real com latência inferior a 500ms e taxa de erro (Word Error Rate) abaixo de 10% em contextos específicos e 15% em contextos gerais. O sistema processará simultaneamente múltiplas representações visuais (keypoints, features CNN/Transformer, heatmaps, embeddings multimodais) e semântica textual, permitindo comunicação fluida em ambas as direções. O SIGNFLOW implementará uma representação interlíngua que permitirá tradução entre duas línguas gestuais diferentes (durante o projeto entre LGP e ASL) com possibilidade de expansão a outras (e.g., LIBRAS, BSL, LSF, DGS) dada sua modularidade e método de treino dos modelos. O pipeline de tradução utilizará glossas, representações textuais simplificadas dos gestos, como uma camada de abstração intermédia. Este processo preserva a estrutura linguística da língua gestual, reduz ambiguidades, permite aproveitar corpora existentes e facilita a adição de novas línguas. Um componente fundamental desta arquitetura será um modelo LLM especializado (SF.Contextualizer) que dará contexto às traduções, transformando as sequências de glossas em frases textuais fluentes e culturalmente adequadas, além de adaptar texto de fala para uma estrutura compatível com a língua gestual, evitando traduções literais. 4. AVATARES 3D EXPRESSIVOS E CONTEXTUALIZADOS (20%): Superando as limitações dos avatares robóticos e pouco expressivos de algumas das soluções atuais, o SIGNFLOW desenvolverá avatares com realismo classificado acima de 4 numa escala de 1-5 e taxa de frames não inferior a 30 fps em dispositivos de classe laptop. Estes avatares incorporarão expressões faciais naturais, movimentos fluidos e elementos prosódicos essenciais para a compreensão da língua gestual, adaptando a apresentação visual dos gestos de acordo com o contexto comunicativo e variações culturais. Análise 5. PLATAFORMA DE APRENDIZAGEM DE LÍNGUA GESTUAL (15%): Será desenvolvida uma plataforma de aprendizagem (SF.Learning) com exercícios adaptativos e gamificação, suportada por feedback multimodal (texto, voz e avatar 3D) e analítica de progresso. A plataforma alinhará conteúdos com currículos de LGP/ASL, assegurando acessibilidade (Web Content Accessibility Guidelines - WCAG) e percursos personalizados para diferentes perfis (iniciantes, familiares, profissionais). Integrará componentes do núcleo para fornecer feedback imediato, exercícios de compreensão e produção, e recomendação inteligente de atividades com base no desempenho.

Referência do projeto
ALGARVE-FEDER-03682900 - SIGNFLOW - 27702
Tipologia
Investigação e Desenvolvimento
Data de início/fim
/
Investigador(es) responsável(eis) UAlg

Pedro Jorge Sequeira Cardoso

Tipo de Financiamento
Fundos da União Europeia
Custo total elegível
1219411.11
Custo total elegível UAlg
581462.81
Apoio financeiro da União Europeia
906111.77
Financiamento EU UAlg
494243.39
Entidades beneficiárias

FLOW WITH US, UNIPESSOAL LDA; Universidade do Algarve

Financiamento
logotipos Algarve 2030; Portugal 2030; União Europeia