Ficha do Modelo Multimodal#
O AMALIA-VL é um modelo de multimodal (visão e linguagem) aberto e criado especificamente para o português de Portugal e para a cultura portuguesa.
Descrição do Modelo#
O AMALIA-VL é desenvolvido no âmbito do projeto AMALIA.
O projeto AMALIA é desenvolvido por um consórcio de universidades e centros de investigação portugueses, incluindo a Universidade NOVA de Lisboa, Instituto Superior Técnico, Universidade de Coimbra, Universidade do Porto, Universidade do Minho e pela Fundação para a Ciência e Tecnologia. O desenvolvimento inclui colaborações com a Universidade da Beira Interior, Universidade de Évora, e Instituto Superior de Engenharia de Lisboa.
Esta colaboração é financiada pelos Programas de Desenvolvimento e Inovação do Governo de Portugal, com o objetivo de criar um assistente de IA avançado capaz de comunicar de forma eficaz em português europeu.
O AMALIA-VL utiliza dados de fonte aberta no seu treino, e outros dados curados especificamente em português europeu. O AMALIA-VL é treinado com pós treino a partir do AMALIA. O treino foi feito em três fases: Modality Alignment, Visual Instruction Following e Preference Tuning. As primeiras duas fases são realizadas através de Supervised Fine-Tuning (SFT), e a última fase é realizada usando Direct Preference Optimization (DPO).
O modelo está disponível no HuggingFace desde o dia 1 de Julho de 2026.
Detalhes de Treino Multimodal#
Dados de Treino#
Para a primeira fase, Modality Alignment, foram usados 500.000 pares de imagem e texto do dataset PD12M. Estes foram parcialmente traduzidos para português europeu através do Gemma 3.
Para a seguinte fase, Visual Instruction Following, foi adotada uma mistura de dados sintéticos e dados públicos, que se dividem nas seguintes categorias:
Image Grounding (Ancoragem de respostas a imagens):
Splits de extração de bounding boxes (caixas de coordenadas visuais) do Nemotron VLM Dataset v2.
General VQA (Perguntas e Respostas Visuais Gerais):
Dados sintéticos criados para perguntas e respostas visuais com foco em português europeu, usando coleções de imagens abertas como o PD12M e o Open Images;
Dataset AMALIA-Hardcoded com conhecimento autorreferencial;
Dados conversacionais gerados a partir da Wikipedia;
Splits de VQA do Nemotron VLM Dataset v1;
Vários outros conjuntos de dados públicos de VQA obtidos através da coleção FineVision, incluindo:
OCR (Extração Óptica de Caracteres):
Dados sintéticos criados para reconhecimento visual de código;
Splits de OCR do Nemotron VLM Dataset v1;
OCR QA (Perguntas e Respostas sobre texto em imagens):
Chart & Table Understanding (Compreensão de Gráficos e Tabelas):
Dados sintéticos para compreensão de gráficos e tabelas em português europeu e contextos multilingues;
Conjuntos de dados de compreensão de gráficos e tabelas do Nemotron VLM Dataset v1 e v2.
Outros:
Dados sintéticos para descrição de imagens e compreensão de cenas, em português europeu e inglês;
Dados sintéticos para conhecimento e reconhecimento de cultura portuguesa;
Dados sintéticos para compreensão e interpretação de código em imagens;
Dados públicos de compreensão matemática visual:
Dados sintéticos e públicos para compreensão de documentos visuais, incluindo DocVQA;
Reutilização de dados de instrução textual do AMALIA-LLM para preservar o alinhamento entre as capacidades de linguagem e visão do modelo.
Para a fase final, de otimização de preferências, foram utilizados os dados sintéticos de otimização de preferências multimodal. Estes dados foram criados com base nos conjuntos de dados de treino da fase anterior, com o objetivo de melhorar a capacidade do modelo distinguir respostas de maior e menor qualidade para a mesma instrução.
A data de corte dos dados de treino foi Junho de 2024.
Processo de Treino#
A fase inicial de Modality Alignment tem como objetivo alinhar as representações de visão e linguagem do modelo, permitindo que o AMALIA-VL compreenda e integre informações visuais e textuais de forma eficaz. Para isto, apenas é treinado o conetor de modalidades, mantendo ambos os modelos de visão e linguagem congelados. Esta fase demorou 4 horas em 8 GPUs NVIDIA H100, totalizando 2k steps.
A segunda fase, de Visual Instruction Following, tem como objetivo ensinar o modelo a seguir instruções visuais e executar variadas tarefas com base em inputs visuais, incluindo perguntas e respostas visuais, ancoragem de respostas a imagens, compreensão de gráficos e tabelas, reconhecimento de texto em imagens e compreensão de cenas. Nesta fase, o modelo é treinado em regime de Supervised Fine-Tuning (SFT) e todos os parâmetros do modelo são treinados. Aqui, o modelo tem um contexto máximo de 16384 tokens, e uma capacidade de até 7800 tokens visuais por imagem. O treino decorreu durante 96 horas, recorrendo a 128 GPUs NVIDIA H100, totalizando 49k steps.
A fase final de treino, de DPO, visa refinar as respostas do modelo através da aprendizagem baseada em comparações de pares. Nesta fase, para a mesma instrução, o modelo aprende a maximizar a probabilidade de gerar respostas de maior qualidade e minimizar a probabilidade de gerar respostas de menor, otimizando-se para gerar outputs mais úteis, seguros e alinhados com os valores desejados, minimizando simultaneamente comportamentos indesejados, como alucinações, toxicidade ou desvios das instruções fornecidas. O treino decorreu durante 12 horas, recorrendo a 128 GPUs NVIDIA H100.
Todas as fases de treino foram executadas no supercomputador MareNostrum5, alojado no Barcelona Supercomputing Center, e no supercomputador DEUCALION, alojado no Centro Avançado de Computação do Minho.
Avaliação#
Para avaliar o desempenho do AMALIA-VL, foram traduzidas 18 benchmarks multimodais para português europeu, utilizando modelos de estado da arte. Para garantir a qualidade das traduções, foi realizada uma revisão humana em subsets dos dados para validar a precisão e a fluidez das traduções.
Adicionalmente, foram criados dois benchmarks para avaliar o AMALIA-VL em capacidades específicas do português europeu e da cultura portuguesa:
PorTEXTO (European Portuguese Benchmark for Visual Text Extraction): desenvolvido para avaliar o desempenho dos modelos abertos na extração de texto pt-PT a partir de imagens, incluindo: documentos com texto escrito manualmente, texto em ambientes reais e típicos na cultura portuguesa, e documentos com texto sinteticamente gerado sobre imagens de fundo;
CARAVELA (Cultural Awareness and Recognition Assessment for Visual Entity Literacy and Analysis): desenvolvido para avaliar o conhecimento dos modelos sobre a cultura e a história portuguesas, abrangendo cinco categorias distintas: Arte, Gastronomia, Localidades, Monumentos e Personalidades.
A avaliação mostra que, dentro dos modelos abertos, o AMALIA-VL é altamente competitivo em português europeu, com excelente desempenho em tarefas de compreensão de texto em imagens e em tarefas de ancoragem de respostas a imagens.
Utilização Prevista#
O AMALIA processa e compreende tanto imagens como linguagem natural, e gera texto em linguagem natural. Destina-se a ser um modelo aberto de visão-linguagem e de uso geral para o Português Europeu (pt-PT). O AMALIA pode ser acedido, utilizado e sujeito a fine-tuning por qualquer pessoa ou entidade, mas é importante ter em conta as suas capacidades e limitações. A utilização do modelo deve sempre respeitar os princípios de utilização responsável de IA, a legislação aplicável e as boas práticas de proteção de dados.
As suas principais utilizações previstas incluem:
Assistência de formato curto e seguimento de instruções visuais em Português Europeu: resposta a perguntas, sumarização, redação, reescrita, tradução, extração visual de texto, rotulagem de imagens, resposta a perguntas visuais e resposta a perguntas baseadas em documentos.
Aplicações de investigação e educação focadas na língua e cultura portuguesas, incluindo investigação em NLP (Natural Languge Processing) e CV (Computer Vision) em língua portuguesa e o estudo específico do Português Europeu.
Um modelo base para desenvolvimento a jusante (*downstream*). Dada a sua disponibilização aberta, o AMALIA destina-se a ser sujeito a fine-tuning, adaptado e desenvolvido por outros programadores e investigadores, por exemplo, em aplicações do setor público e de IA soberana.
As aplicações do AMALIA em qualquer destas áreas são esperadas e desejáveis, mas devem seguir as orientações e recomendações presentes neste cartão de modelo (model card). Além disso, recomendamos que qualquer aplicação que utilize o AMALIA considere a inclusão de bases de conhecimento adequadas aos casos de uso pretendidos. A responsabilidade por quaisquer resultados e consequências de aplicações do AMALIA recai exclusivamente sobre os autores dessas mesmas aplicações.
O modelo destina-se especificamente ao Português Europeu. Embora lide com outras variantes do português até certo ponto, é otimizado e curado para pt-PT e não deve ser assumido como equivalente entre variantes.
Utilizações Fora do Âmbito#
As seguintes utilizações estão fora do âmbito para o qual o AMALIA foi concebido ou validado:
Tomada de decisões de alto risco, não supervisionadas, sem supervisão humana qualificada. O AMALIA não deve ser utilizado como uma autoridade de tomada de decisão em domínios onde os erros acarretem consequências graves, sem um humano qualificado no processo.
Utilização como fonte única de verdade factual. O modelo pode alucinar. Os resultados devem ser verificados antes da sua utilização em qualquer contexto que exija factualidade. O AMALIA foi treinado para suportar a geração aumentada por recuperação (RAG), pelo que fundamentar as respostas em documentos de origem recuperados é a abordagem recomendada para tarefas factuais ou intensivas em conhecimento. Ainda assim, os resultados devem ser verificados em qualquer contexto de criticidade factual.
Línguas e contextos culturais que não o português e o inglês.
Dependência de garantias de segurança. O ajuste de segurança reduz, mas não elimina, resultados prejudiciais, tóxicos ou tendenciosos; o modelo não deve ser implementado em ambientes que assumam que é totalmente seguro por defeito. Em vez disso, os programadores devem empregar salvaguardas (*guardrails*) e mecanismos de segurança adequados, adaptados à sua aplicação, e garantir o registo e a rastreabilidade.
Geração de conteúdo prejudicial, tóxico ou ilícito. O AMALIA não deve ser utilizado para produzir intencionalmente conteúdo que seja prejudicial, abusivo, discriminatório ou que viole direitos, incluindo discurso de ódio, assédio ou material que explore ou coloque indivíduos em perigo.
Implementação em produção sem avaliação adicional. Como modelo aberto, o AMALIA deve ser submetido a testes específicos para a tarefa e para o domínio antes de ser implementado em qualquer sistema de produção.
Utilizações que violem a legislação aplicável. O AMALIA não deve ser implementado de formas que entrem em conflito com o Regulamento da IA da UE (EU AI Act), o Regulamento Geral sobre a Proteção de Dados (RGPD) ou outros quadros legais aplicáveis. Isto inclui práticas de IA proibidas ao abrigo do Regulamento da IA, nomeadamente todas as aplicações de alto risco que não tenham sido submetidas à avaliação de conformidade exigida, e qualquer processamento de dados pessoais sem uma base legal válida.
Considerações Éticas e Riscos#
O desenvolvimento de grandes modelos de linguagem levanta várias preocupações éticas. Ao disponibilizar o AMALIA como um modelo aberto para o Português Europeu, o consórcio considerou o seguinte:
Viés e equidade. Os modelos de linguagem treinados em textos do mundo real em larga escala refletem os vieses socioculturais presentes no seu material de treino. O modelo também é explicitamente direcionado para o Português Europeu, e o seu tratamento da distinção pt-PT/pt-BR é, em si mesmo, uma consideração de equidade que o consórcio trata como uma dimensão de avaliação de primeira linha.
Desinformação e uso indevido. Como qualquer LLM, o AMALIA pode produzir texto que seja falso, enganador ou prejudicial. Os programadores que desenvolvam sobre o AMALIA são encorajados a comunicar estas limitações aos utilizadores finais e a fornecer mecanismos para a denúncia de usos indevidos.
Transparência e responsabilização. Este cartão documenta os dados de treino do modelo, o processo de treino e as utilizações previstas e fora do âmbito, para que os programadores e investigadores possam tomar decisões informadas. A disponibilização aberta do AMALIA destina-se a tornar a tecnologia linguística do Português Europeu acessível à comunidade mais ampla de investigadores e programadores.
Riscos identificados e mitigações:
Geração de conteúdo prejudicial. O pós-treino do AMALIA incluiu dados de segurança tanto na fase de SFT como na de DPO, e a fase de DPO visa explicitamente a redução da toxicidade e de resultados prejudiciais. Estas medidas reduzem, mas não eliminam o risco; os programadores a jusante devem adicionar as suas próprias salvaguardas de segurança de conteúdo adequadas ao seu produto e caso de uso.
Uso indevido para fins maliciosos. O consórcio fornece documentação sobre a utilização prevista e as limitações do modelo, e encoraja os programadores que constroem sobre o AMALIA a estabelecerem os seus próprios mecanismos para que os utilizadores possam denunciar usos indevidos nas suas aplicações.
Perpetuação de vieses. A monitorização contínua, através de métricas de avaliação e revisão humana, e a utilização de técnicas de mitigação de viés durante o treino, fine-tuning e adaptação a jusante, foram encorajadas para limitar o reforço de vieses existentes.
Entradas adversariais e injeção de *prompts*. As aplicações construídas sobre o AMALIA podem ser vulneráveis a injeções de prompts e outras entradas adversariais. Os programadores devem aplicar validação de entradas e filtragem de saídas adequadas ao seu contexto de implementação.