Meta lance Meta External Agent, un web crawler contournant Robots.txt pour la collecte de données.

Meta a publié un nouveau web crawler appelé Meta External Agent pour recueillir des données à partir d'Internet, en particulier à partir de contenus affichés publiquement tels que des articles de nouvelles et des discussions en ligne. Le rampeur collecte des données pour le modèle AI de Meta, contournant les mesures standard de protection du site Web en s'appuyant sur des fichiers Robots.txt. Ce mouvement démontre l'engagement de Meta à la formation et à l'amélioration de ses modèles d'IA.

August 21, 2024
6 Articles