Este projeto executa modelos de linguagem em ambiente local utilizando o Docker Desktop com o Model Runner. A aplicação foi desenvolvida em Python e utiliza os modelos hospedados no Model Hub do Docker.
O sistema foi desenvolvido em Python + Streamlit, permitindo a execução local de modelos hospedados no Docker Model Hub, com suporte a múltiplos modelos.
A aplicação implementa um pipeline composto por três etapas:
- Anonimização: o modelo detecta e substitui entidades sensíveis no texto original.
- Encaminhamento: o texto anonimizado é enviado a um modelo simulando um serviço externo.
- Reidentificação: as entidades originais são restauradas no texto de resposta.
Antes de iniciar, verifique se você possui os seguintes componentes instalados:
git clone https://github.com/LucassCPS/PII-Anonymizer.git
cd PII-AnonymizerCertifique-se de que o Docker Desktop está em execução e que o Model Runner está instalado. Siga as instruções oficiais:
Documentação do Model Runner (Docker)
Baixe e registre os modelos listados abaixo diretamente do Model Hub:
| Variável de ambiente | Nome do modelo | Link para o Docker Hub |
|---|---|---|
MODEL_GEMMA3_QAT_4B |
ai/gemma3-qat:4B-UD-Q4_K_XL |
🔗 Docker Hub - Gemma3 QAT 4B |
MODEL_GEMMA3_QAT_270M |
ai/gemma3-qat:270M-UD-Q4_K_XL |
🔗 Docker Hub - Gemma3 QAT 270M |
MODEL_SMOLL3_Q4 |
ai/smollm3:Q4_K_M |
🔗 Docker Hub - SmolLM3 Q4 |
MODEL_SMOLL3_Q8 |
ai/smollm3:Q8_0 |
🔗 Docker Hub - SmolLM3 Q8 |
MODEL_QWEN3_06B |
ai/qwen3:0.6B-Q4_K_M |
🔗 Docker Hub - Qwen3 0.6B |
MODEL_QWEN3_8B |
ai/qwen3:8B-Q4_K_M |
🔗 Docker Hub - Qwen3 8B |
MODEL_GRANITE4_TINY |
ai/granite-4.0-h-tiny:7B |
🔗 Docker Hub - Granite 4.0 Tiny |
MODEL_MISTRAL_NEMO |
ai/mistral-nemo:12B-Q4_K_M |
🔗 Docker Hub - Mistral Nemo 12B |
MODEL_DEEPSEEK |
ai/deepseek-r1-distill-llama:8B-Q4_K_M |
🔗 Docker Hub - DeepSeek R1 Distill LLaMA |
MODEL_LLAMA32_3B_Q4 |
ai/llama3.2:3B-Q4_K_M |
🔗 Docker Hub - LLaMA 3.2 3B Q4 |
MODEL_LLAMA32_1B_Q8 |
ai/llama3.2:1B-Q8_0 |
🔗 Docker Hub - LLaMA 3.2 1B Q8 |
Baixe cada modelo executando o comando abaixo (substitua pelo nome do modelo):
docker pull ai/gemma3-qat:270M-UD-Q4_K_XLApós configurar o ambiente, inicie o Model Runner com os modelos carregados e execute a aplicação através de:
docker compose build
docker compose upAcesse no navegador:
http://localhost:8501
Obs.: Certifique-se de que o Model Runner está rodando no Docker Desktop. A aplicação consumirá os modelos através das chamadas configuradas via API local.