Conforme relatório publicado pela Business Insider, a Meta está usando dois novos bots para rastrear a web em busca de dados que serão utilizados no desenvolvimento e melhoria dos modelos de Inteligência Artificial (IA) que alimentam seus produtos. As novidades contém a tecnologia que facilita os usuários a escaparem dos bloqueios implementados por proprietários de sites, que não têm interesse em ver seus dados coletados. 1i4o3s
Entre as novidades está o rastreador 'Meta-ExternalAgent', que possui a habilidade de realizar a indexação direta dos conteúdos capturados e consegue coletar dados para o treinamento da Inteligência Artificial (IA). O segundo, anunciado como 'Meta-ExternalFetcher', busca informações para aprimorar o assistente da IA por meio da companhia e links para funções do produto.
Ainda conforme o relatório, os novos rastreadores são próprios para burlar restrições impostas por meio do arquivo robots.txt. O código que pode conter instruções para impedir a raspagem automatizada de dados. Com essas novidades, a Originality.ai que é especializada na detecção de conteúdo de IA, destaca que apenas 1,5% dos principais sites estão conseguindo bloquear o bot Meta-ExternalAgent. Já o Meta-ExternalFetcher é bloqueado por menos de 1% dessas páginas, de acordo com a startup.