Ficha do Modelo

Ficha do Modelo#

O AMALIA é um modelo de linguagem aberto e criado especificamente para o português de Portugal e para a cultura portuguesa.

Descrição do Modelo#

O AMALIA é desenvolvido por um consórcio de universidades e centros de investigação portugueses, incluindo a Universidade NOVA de Lisboa, Instituto Superior Técnico, Universidade de Coimbra, Universidade do Porto, Universidade do Minho e pela Fundação para a Ciência e Tecnologia. O desenvolvimento inclui colaborações com a Universidade da Beira Interior, Universidade de Évora, e Instituto Superior de Engenharia de Lisboa.

Esta colaboração é financiada pelos Programas de Desenvolvimento e Inovação do Governo de Portugal, com o objetivo de criar um assistente de IA avançado capaz de comunicar eficazmente em português europeu.

O AMALIA utiliza dados de fonte aberta no seu treino, como os dados provenientes do Arquivo.pt, por exemplo, e outros dados curados especificamente em português europeu. O treino foi realizado em duas fases: pré-treino e pós-treino. O pós-treino aplicou técnicas de Supervised Fine-Tuning (SFT) e Preference Tuning (usando Direct Preference Optimization, DPO).

O modelo está disponível no HuggingFace desde o dia 1 de Julho de 2026.

Detalhes de Treino#

Dados de Treino#

Os seguintes dados foram incluídos na fase de pré-treino do AMALIA:

A componente de SFT de pós-treino incluiu uma mistura de dados criados manualmente, gerados sinteticamente e obtidos de datasets públicos. Estes dados focaram-se em quatro categorias de treino:

  • Instruction Following (Seguimento de Instruções):

    • Dados sintéticos criados utilizando personas do PersonaHub e Nemotron;

    • Dataset de instruções linguísticas portuguesas criado manualmente.

  • Conversational Reasoning (Raciocínio Conversacional):

    • Dados sintéticos criados utilizando personas do PersonaHub e Nemotron;

    • Dataset AMALIA-Hardcoded com conhecimento autorreferencial;

    • Dados conversacionais gerados da Wikipedia;

    • Splits Chat e STEM do Nemotron Post-Training v1 e v2;

    • Subsets do smoltalk: smol-magpie-ultra (de qualidade excelente) e smol-summarize (traduzido);

    • Subsets do smoltalk2: everyday-conversations (traduzido) e Table-GPT;

    • Um split customizado de SFT do Hermes3;

    • Mistura de SFT do OLMo v2;

    • PTradutor para traduções PT\(\leftrightarrow\)EN;

    • WMT24++ para traduções multilingues\(\rightarrow\)PT.

  • Matemática:

  • Segurança:

Para a componente de DPO foi usada uma amostra de dados com respostas geradas em parte pelo próprio AMALIA-SFT. Foram ainda usados os dados:

A data de corte dos dados de treino foi Junho de 2024.

Processo de Treino#

No pré-treino, foram maioritariamente seguidos os hiperparâmetros do EuroLLM, com a nova mistura de dados, aumentando o comprimento máximo de sequência para 32k tokens e melhorando o seu conhecimento de português europeu.

A fase de SFT visa melhorar as capacidades conversacionais e de seguimento de instruções do AMALIA, com um foco especial no português europeu, utilizando os conjuntos de dados descritos em Dados de Treino. O treino decorreu durante 76 horas, recorrendo a 64 GPUs NVIDIA H100, totalizando em 14k steps.

A fase de DPO visa alinhar o comportamento do AMALIA com as preferências humanas, refinando as respostas do modelo através da aprendizagem baseada em comparações de pares. Nesta fase, o modelo aprende a distinguir entre respostas de maior e menor qualidade para a mesma instrução, otimizando-se para gerar outputs mais úteis, seguros e alinhados com os valores desejados, minimizando simultaneamente comportamentos indesejados, como alucinações, toxicidade ou desvios das instruções fornecidas. O treino decorreu durante 12 horas, recorrendo a 64 GPUs NVIDIA H100.

Todas as fases de treino foram executadas no supercomputador MareNostrum5, alojado no Barcelona Supercomputing Center, e no supercomputador DEUCALION, alojado no Centro Avançado de Computação do Minho.

Avaliação#

No âmbito do AMALIA, foram desenvolvidos novos benchmarks com o objetivo de avaliar a performance do modelo em Português Europeu:

  • ALBA (Automated Linguistics Benchmark for Baseline Assessment): Avalia o desempenho em tarefas linguísticas em português europeu (pt-PT). A avaliação divide-se em oito dimensões: Fonética e Fonologia, Sintaxe, Morfologia, Lexicologia, Semântica Cultural, Jogos de Palavras, Análise do Discurso e Variedade Linguística.

  • P3B3 (pt-PT/pt-BR Bias Benchmark): Avalia o viés (bias) dos modelos para as variantes de Português pt-PT e pt-BR.

  • PHEB (Portuguese High School Exams Benchmark): Baseado nos Exames Nacionais do Ensino Secundário de Portugal, avalia a capacidade de resolver tarefas alinhadas com o currículo educacional Português.

  • CulturaVivaPT: Foca-se na compreensão cultural e no conhecimento específico de Portugal, avaliando para responder a questões sobre temas diversos como festivais, gastronomia, história e desporto.

  • SAUDADE: Mede a compreensão de eventos históricos e culturais de Portugal sob uma perspetiva temporal.

Adicionalmente, vários benchmarks de referência foram traduzidos de inglês para português europeu recorrendo a um modelo de tradução dedicado.

Para garantir avaliações reproduzíveis, o processo de avaliação utiliza a framework LLM Evaluation Harness com código e tarefas customizadas disponível no GitHub.

Os resultados demonstram que, no ecossistema de modelos totalmente abertos (fully open-source), o AMALIA posiciona-se entre os modelos de referência para o português europeu, apresentando um desempenho ao nível do estado da arte. Em termos de segurança, o AMALIA encontra-se alinhado com os padrões e práticas de segurança observados nos modelos de referência atuais.

Utilização Prevista#

O AMALIA processa, compreende e gera texto em linguagem natural. Destina-se a ser um modelo de linguagem aberto e de uso geral para o Português Europeu (pt-PT). O AMALIA pode ser acedido, utilizado e sujeito a fine-tuning por qualquer pessoa ou entidade, mas é importante ter em conta as suas capacidades e limitações. A utilização do modelo deve sempre respeitar os princípios de utilização responsável de IA, a legislação aplicável e as boas práticas de proteção de dados.

As suas principais utilizações previstas incluem:

  • Assistência de formato curto e seguimento de instruções em Português Europeu: resposta a perguntas, sumarização, redação, reescrita, tradução e geração de texto em geral.

  • Aplicações de investigação e educação focadas na língua e cultura portuguesas, incluindo investigação em NLP (Natural Language Processing) em língua portuguesa e o estudo específico do Português Europeu.

  • Um modelo base para desenvolvimento a jusante (*downstream*). Dada a sua disponibilização aberta, o AMALIA destina-se a ser sujeito a fine-tuning, adaptado e desenvolvido por outros programadores e investigadores, por exemplo, em aplicações do setor público e de IA soberana.

As aplicações do AMALIA em qualquer destas áreas são esperadas e desejáveis, mas devem seguir as orientações e recomendações presentes neste cartão de modelo (model card). Além disso, recomendamos que qualquer aplicação que utilize o AMALIA considere a inclusão de bases de conhecimento adequadas aos casos de uso pretendidos. A responsabilidade por quaisquer resultados e consequências de aplicações do AMALIA recai exclusivamente sobre os autores dessas mesmas aplicações.

O modelo destina-se especificamente ao Português Europeu. Embora lide com outras variantes do português até certo ponto, é otimizado e curado para pt-PT e não deve ser assumido como equivalente entre variantes.

Utilizações Fora do Âmbito#

As seguintes utilizações estão fora do âmbito para o qual o AMALIA foi concebido ou validado:

  • Tomada de decisões de alto risco, não supervisionadas, sem supervisão humana qualificada. O AMALIA não deve ser utilizado como uma autoridade de tomada de decisão em domínios onde os erros acarretem consequências graves, sem um humano qualificado no processo.

  • Utilização como fonte única de verdade factual. O modelo pode alucinar. Os resultados devem ser verificados antes da sua utilização em qualquer contexto que exija factualidade. O AMALIA foi treinado para suportar a geração aumentada por recuperação (RAG), pelo que fundamentar as respostas em documentos de origem recuperados é a abordagem recomendada para tarefas factuais ou intensivas em conhecimento. Ainda assim, os resultados devem ser verificados em qualquer contexto de criticidade factual.

  • Línguas e contextos culturais que não o português e o inglês.

  • Dependência de garantias de segurança. O ajuste de segurança reduz, mas não elimina, resultados prejudiciais, tóxicos ou tendenciosos; o modelo não deve ser implementado em ambientes que assumam que é totalmente seguro por defeito. Em vez disso, os programadores devem empregar salvaguardas (*guardrails*) e mecanismos de segurança adequados, adaptados à sua aplicação, e garantir o registo e a rastreabilidade.

  • Geração de conteúdo prejudicial, tóxico ou ilícito. O AMALIA não deve ser utilizado para produzir intencionalmente conteúdo que seja prejudicial, abusivo, discriminatório ou que viole direitos, incluindo discurso de ódio, assédio ou material que explore ou coloque indivíduos em perigo.

  • Implementação em produção sem avaliação adicional. Como modelo aberto, o AMALIA deve ser submetido a testes específicos para a tarefa e para o domínio antes de ser implementado em qualquer sistema de produção.

  • Utilizações que violem a legislação aplicável. O AMALIA não deve ser implementado de formas que entrem em conflito com o Regulamento da IA da UE (EU AI Act), o Regulamento Geral sobre a Proteção de Dados (RGPD) ou outros quadros legais aplicáveis. Isto inclui práticas de IA proibidas ao abrigo do Regulamento da IA, nomeadamente todas as aplicações de alto risco que não tenham sido submetidas à avaliação de conformidade exigida, e qualquer processamento de dados pessoais sem uma base legal válida.

Considerações Éticas e Riscos#

O desenvolvimento de grandes modelos de linguagem levanta várias preocupações éticas. Ao disponibilizar o AMALIA como um modelo aberto para o Português Europeu, o consórcio considerou o seguinte:

  • Viés e equidade. Os modelos de linguagem treinados em textos do mundo real em larga escala refletem os vieses socioculturais presentes no seu material de treino. O modelo também é explicitamente direcionado para o Português Europeu, e o seu tratamento da distinção pt-PT/pt-BR é, em si mesmo, uma consideração de equidade que o consórcio trata como uma dimensão de avaliação de primeira linha.

  • Desinformação e uso indevido. Como qualquer LLM, o AMALIA pode produzir texto que seja falso, enganador ou prejudicial. Os programadores que desenvolvam sobre o AMALIA são encorajados a comunicar estas limitações aos utilizadores finais e a fornecer mecanismos para a denúncia de usos indevidos.

  • Transparência e responsabilização. Este cartão documenta os dados de treino do modelo, o processo de treino e as utilizações previstas e fora do âmbito, para que os programadores e investigadores possam tomar decisões informadas. A disponibilização aberta do AMALIA destina-se a tornar a tecnologia linguística do Português Europeu acessível à comunidade mais ampla de investigadores e programadores.

Riscos identificados e mitigações:

  • Geração de conteúdo prejudicial. O pós-treino do AMALIA incluiu dados de segurança tanto na fase de SFT como na de DPO, e a fase de DPO visa explicitamente a redução da toxicidade e de resultados prejudiciais. Estas medidas reduzem, mas não eliminam o risco; os programadores a jusante devem adicionar as suas próprias salvaguardas de segurança de conteúdo adequadas ao seu produto e caso de uso.

  • Uso indevido para fins maliciosos. O consórcio fornece documentação sobre a utilização prevista e as limitações do modelo, e encoraja os programadores que constroem sobre o AMALIA a estabelecerem os seus próprios mecanismos para que os utilizadores possam denunciar usos indevidos nas suas aplicações.

  • Perpetuação de vieses. A monitorização contínua, através de métricas de avaliação e revisão humana, e a utilização de técnicas de mitigação de viés durante o treino, fine-tuning e adaptação a jusante, foram encorajadas para limitar o reforço de vieses existentes.

  • Entradas adversariais e injeção de *prompts*. As aplicações construídas sobre o AMALIA podem ser vulneráveis a injeções de prompts e outras entradas adversariais. Os programadores devem aplicar validação de entradas e filtragem de saídas adequadas ao seu contexto de implementação.