Este artigo fornece uma visão geral do vazamento de dados, com uma análise de como ele se relaciona ao tópico de machine learning. Saiba o conceito, os desafios associados e as medidas a serem tomadas para reduzir o problema.
Introdução ao vazamento de dados
Em machine learning, o vazamento de dados refere-se a um problema em que informações de fora do conjunto de dados de treinamento são usadas para criar um modelo. O vazamento pode ocorrer quando dados que não seriam acessíveis em testes ou inferências futuras são usados no treinamento ou quando os mesmos dados são incluídos nos conjuntos de treinamento e teste.
O vazamento de dados é causado por pré-processamento inadequado, como o uso de todo o conjunto de dados para normalizar ou dimensionar a escala de recursos ou incluir informações futuras em dados de séries temporais.
Resolver os vazamentos de dados é uma questão crucial para o desenvolvimento de modelos de machine learning fortes e eficazes capazes de fornecer bom desempenho em cenários do mundo real.
Qual é o objetivo da modelagem preditiva?
Em relação ao vazamento de dados, o objetivo da modelagem preditiva é identificar e reduzir, de modo proativo, o risco de incidentes de vazamento antes que eles ocorram. As técnicas de modelagem preditiva aproveitam dados históricos, padrões e algoritmos estatísticos para prever a probabilidade de eventos de vazamento com base em vários fatores e indicadores de risco.
Outro objetivo da modelagem preditiva em relação ao machine learning é garantir a integridade do processo de treinamento, evitando o vazamento de informações que pode afetar os dados, tanto de treinamento quanto de teste.
Diferenças entre os dados de treinamento e os dados de teste
Na modelagem preditiva, o conjunto de dados normalmente é dividido em duas partes principais: dados de treinamento e dados de teste. A distinção entre esses dois tipos é fundamental para o desenvolvimento e a avaliação de modelos de machine learning e para a compreensão do vazamento de dados.
- Dados de treinamento: Dados de treinamento são o conjunto de dados no qual o modelo aprende a fazer previsões ou a tomar decisões. O modelo tenta descobrir padrões e relacionamentos dentro desses dados.
- Dados de teste: Dados de teste são usados para avaliar o desempenho e a capacidade de generalização do modelo, agindo como um proxy para dados futuros não previstos. O objetivo é determinar quão bem o modelo pode usar o que aprendeu para fazer previsões com base em novos dados.
O que é vazamento de dados em machine learning?
No contexto de vazamento de dados, os modelos preditivos tornam-se imprecisos porque informações de fora do conjunto de dados de treinamento, que não estariam disponíveis no momento da previsão, influenciam o modelo, de forma não intencional.
Como resultado, apesar de parecer altamente preciso durante o treinamento e a validação, o modelo apresenta um desempenho ruim em dados reais e não previstos, porque aprendeu a partir de informações vindas de vazamentos, e não de padrões legítimos existentes nos dados.
São tipos de vazamento de dados em machine learning:
Pré-processamento
O vazamento vindo do reprocessamento de dados ocorre quando as etapas de pré-processamento (como normalização, ajuste da escala ou seleção de recursos) usam informações do conjunto de teste ou de todo o conjunto de dados, em vez de apenas dados de treinamento. Isso pode acarretar em vazamento de informações do conjunto de teste para o conjunto de treinamento.
Vazamento-alvo
Este é um vazamento da engenharia de recursos que ocorre quando recursos altamente correlacionados à variável-alvo são incluídos nos dados de treinamento, mas eles representam informações que não estariam disponíveis no momento da previsão (dados de previsões futuras ou de fora do conjunto de dados, por exemplo).
Um exemplo de vazamento-alvo ocorre se o modelo tem como objetivo prever a rotatividade de funcionários, e os recursos incluem a oferta de bônus de retenção. O modelo pode aprender que o recebimento de um bônus está associado à retenção, mas isso não é útil para identificar funcionários em risco antes de receberem um bônus de retenção.
Contaminação entre teste e treinamento
A contaminação entre teste e treinamento (ou seja, entre os conjuntos de dados de treinamento e teste), também conhecida como vazamento por meio de divisões incorretas de dados, ocorre quando informações do conjunto de dados de teste vazam, de forma não intencional, para o conjunto de dados de treinamento.
Isso pode acontecer durante as etapas de pré-processamento, como se o ajuste da escala ou a imputação de recursos fosse aplicado a todo o conjunto de dados antes de dividi-lo em conjuntos de treinamento e teste.
Dados semelhantes ou duplicados em ambos os conjuntos também poderão ocorrer em dados de séries temporais se dados futuros (ou seja, conjunto de teste) forem usados em conjunto com dados passados (por exemplo, conjunto de treinamento) sem uma separação cuidadosa ou se os dados não forem organizados de forma adequada para conjuntos onde o tempo ou a sequência não são um fator.
Problemas causados por vazamento de dados
São problemas causados pelo vazamento de informações em machine learning:
- Implicações éticas e legais: nos casos em que os modelos são implementados em aplicações que possuem níveis de confidencialidade (como setores de saúde, finanças, jurídico), o vazamento de dados que leva a previsões incorretas pode ter sérias implicações éticas, tais como tratamento injusto ou discriminação.
- Falta de generalização: prejudica a capacidade do modelo de machine learning de lidar com novos dados ou cenários não representados no conjunto de treinamento.
- Métricas de desempenho enganosas: resulta em exatidão, precisão e recall exagerados, enganando stakeholders sobre a verdadeira eficácia do modelo e possivelmente levando a tomadas de decisões erradas com base em recursos superestimados.
- Overfitting (sobreajuste): o modelo aprende padrões específicos a partir de dados de treinamento comprometidos (como vazamentos de dados não relevantes no conjunto de dados) que não existem no conjunto de dados geral.
- Danos à reputação: a falha de um modelo de machine learning causada por um vazamento de dados pode levar a danos à reputação de uma empresa, minando a confiança entre usuários, clientes ou stakeholders.
- Desperdício de recursos: os recursos podem ser desperdiçados na iteração e otimização de um modelo com base em suposições incorretas sobre seu desempenho.
Leia também: Guia para a conformidade com o Regulamento Geral sobre a Proteção de Dados (RGPD)
Técnicas para minimizar o vazamento de dados
Minimizar o vazamento de informações no contexto do machine learning requer uma combinação de técnicas. Ao integrar estas técnicas nos processos e sistemas organizacionais, o risco de vazamentos nos modelos de aprendizagem automática pode ser reduzido de modo significativo, protegendo a integridade dos projetos de análise de dados.
São técnicas comumente usadas para evitar a exposição de dados em modelos de machine learning:
Validação cruzada
Use técnicas de validação cruzada corretamente, garantindo que o pré-processamento de dados e a seleção de recursos sejam incluídos em cada ciclo de validação cruzada para evitar o vazamento não intencional de informações dos dados de teste para os dados de treinamento.
Mascaramento e anonimização de dados
Ao compartilhar ou usar dados para testes e desenvolvimento, use técnicas de mascaramento ou anonimização de dados (por exemplo, hash, tokenização ou criptografia) para proteger informações com nível de confidencialidade (por exemplo, informações de identificação pessoal ou PII) e garantir que não sejam expostas a usuários não autorizados.
Conscientização sobre engenharia de recursos
Evite o vazamento de recursos e alvos tomando o cuidado, durante a engenharia de recursos, para impedir a criação de recursos que transportam indiretamente informações de previsões futuras ou que não pertencem ao conjunto de treinamento. É importante que todos estejam disponíveis no momento da previsão e não sejam influenciados pela variável-alvo.
Gerenciamento adequado de dados
Certifique-se de que os dados estejam divididos adequadamente entre os conjuntos de treinamento e de teste, sem qualquer sobreposição, antes de qualquer pré-processamento ou modelagem de dados, para evitar que o modelo aprenda com o conjunto de testes.
Validação com base no tempo
Ao trabalhar com dados de série temporal, certifique-se de que o conjunto de testes esteja no futuro em relação ao conjunto de treinamento.
Consequências do vazamento de dados
O vazamento de dados pode comprometer gravemente a validade e a confiabilidade dos modelos de machine learning, levando a ajustes excessivos e baixo desempenho em novos dados.
Com a expansão do uso do machine learning, é fundamental priorizar a prevenção do vazamento de informações nos modelos, uma vez que a falha na mitigação desses vazamentos pode ter consequências de longo alcance e que muitas vezes custam caro.
Prevenir a exposição de dados requer um gerenciamento cuidadoso, técnicas de validação rigorosas e um profundo entendimento dos dados e do domínio do problema para garantir que os modelos sejam precisos e confiáveis em aplicações do mundo real.
