Data Ingest collecter et normaliser depuis toutes les sources

Les données entrantes traversent une séquence définie, en grande partie automatique, les rédacteurs n'intervenant que pour les exceptions :

1. Collecter depuis n'importe quelle source. La plateforme surveille et récupère en continu les données, où qu'elles se trouvent :

• portails et sites web des diffuseurs
• serveurs FTP/SFTP
• API des diffuseurs (REST et SOAP)
• boîtes e-mail
• stockage cloud (Amazon S3, Google Cloud Storage, Azure Blob)

2. Classer et acheminer. Chaque fichier entrant est identifié par type (une grille hebdomadaire complète, une mise à jour incrémentale, un fichier de description, un lot d'images) et acheminé vers la bonne chaîne. Un aperçu lisible par un humain (XML, CSV, DOC/DOCX, PDF) est disponible, et l'import peut être configuré par chaîne, en totalement automatique ou avec validation requise.

3. Importer et mapper. Un importeur dédié à chaque source et à chaque format convertit les données en une structure interne unifiée, applique un mapping de champs spécifique au diffuseur, puis effectue un premier contrôle qualité : présence des champs requis, cohérence chronologique (pas de programmes qui se chevauchent), encodage et format corrigés.

4. Analyser le texte. Le traitement du langage naturel extrait ce qui se cache dans les descriptions en texte libre, comme les noms d'invités ou les numéros d'épisodes, déduit les données manquantes, et les répartit dans les bons champs.

5. Appliquer les règles et rapprocher. Un moteur de règles métier corrige automatiquement les erreurs systématiques des sources (titres en minuscules, préfixes indésirables, données mal placées), puis rapproche chaque entrée de l'enregistrement correct dans l'archive de contenus.

Quand une source envoie une mise à jour, la plateforme la compare à l'état actuel et met en évidence, champ par champ, exactement ce qui diffère, dans une vue côte à côte. Les changements fiables et à faible risque peuvent être appliqués automatiquement ; tout ce qui est inhabituel ou ambigu est signalé à un rédacteur pour être accepté, corrigé ou rejeté, avec une traçabilité complète de chaque décision.

Un principe clé maintient l'efficacité des systèmes en aval : un changement n'est transmis que s'il affecte réellement les données que vous recevez, pas à chaque modification interne. Vous n'êtes pas submergé de mises à jour qui ne changent rien de votre côté.

Les sources envoient des données sous de très nombreuses formes : XML, JSON, CSV, tableurs, PDF, formats propres à chaque diffuseur et bien d'autres, plus de 2 500 formats d'entrée au total. Chacun est converti dans un format interne unique et mappé vers les bons champs, si bien que le reste de la plateforme voit toujours une structure cohérente, quelle que soit l'origine des données. C'est ce qui permet à Media Press d'intégrer une nouvelle source sans perturber tout ce qui se trouve en aval.