Skip to content

LucassCPS/PII-Anonymizer

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

PII-Anonymizer

Este projeto executa modelos de linguagem em ambiente local utilizando o Docker Desktop com o Model Runner. A aplicação foi desenvolvida em Python e utiliza os modelos hospedados no Model Hub do Docker.

Visão Geral

O sistema foi desenvolvido em Python + Streamlit, permitindo a execução local de modelos hospedados no Docker Model Hub, com suporte a múltiplos modelos.

A aplicação implementa um pipeline composto por três etapas:

  1. Anonimização: o modelo detecta e substitui entidades sensíveis no texto original.
  2. Encaminhamento: o texto anonimizado é enviado a um modelo simulando um serviço externo.
  3. Reidentificação: as entidades originais são restauradas no texto de resposta.

Requisitos

Antes de iniciar, verifique se você possui os seguintes componentes instalados:


Instalação

1. Clonar o repositório

git clone https://github.com/LucassCPS/PII-Anonymizer.git
cd PII-Anonymizer

Configuração do Model Runner

Certifique-se de que o Docker Desktop está em execução e que o Model Runner está instalado. Siga as instruções oficiais:
Documentação do Model Runner (Docker)


Modelos Necessários

Baixe e registre os modelos listados abaixo diretamente do Model Hub:

Variável de ambiente Nome do modelo Link para o Docker Hub
MODEL_GEMMA3_QAT_4B ai/gemma3-qat:4B-UD-Q4_K_XL 🔗 Docker Hub - Gemma3 QAT 4B
MODEL_GEMMA3_QAT_270M ai/gemma3-qat:270M-UD-Q4_K_XL 🔗 Docker Hub - Gemma3 QAT 270M
MODEL_SMOLL3_Q4 ai/smollm3:Q4_K_M 🔗 Docker Hub - SmolLM3 Q4
MODEL_SMOLL3_Q8 ai/smollm3:Q8_0 🔗 Docker Hub - SmolLM3 Q8
MODEL_QWEN3_06B ai/qwen3:0.6B-Q4_K_M 🔗 Docker Hub - Qwen3 0.6B
MODEL_QWEN3_8B ai/qwen3:8B-Q4_K_M 🔗 Docker Hub - Qwen3 8B
MODEL_GRANITE4_TINY ai/granite-4.0-h-tiny:7B 🔗 Docker Hub - Granite 4.0 Tiny
MODEL_MISTRAL_NEMO ai/mistral-nemo:12B-Q4_K_M 🔗 Docker Hub - Mistral Nemo 12B
MODEL_DEEPSEEK ai/deepseek-r1-distill-llama:8B-Q4_K_M 🔗 Docker Hub - DeepSeek R1 Distill LLaMA
MODEL_LLAMA32_3B_Q4 ai/llama3.2:3B-Q4_K_M 🔗 Docker Hub - LLaMA 3.2 3B Q4
MODEL_LLAMA32_1B_Q8 ai/llama3.2:1B-Q8_0 🔗 Docker Hub - LLaMA 3.2 1B Q8

Baixe cada modelo executando o comando abaixo (substitua pelo nome do modelo):

docker pull ai/gemma3-qat:270M-UD-Q4_K_XL

Execução

Após configurar o ambiente, inicie o Model Runner com os modelos carregados e execute a aplicação através de:

docker compose build
docker compose up

Acesse no navegador:

http://localhost:8501

Obs.: Certifique-se de que o Model Runner está rodando no Docker Desktop. A aplicação consumirá os modelos através das chamadas configuradas via API local.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors