Données, Ingestion & Base de Données
Une chaîne d'ingestion transforme chaque nuit des sources hétérogènes (JSON, XML, CSV, XLSX, dumps SQL, pages HTML, PDF) en un modèle unique stocké dans PostgreSQL, puis relie les entités entre elles, calcule les statistiques et rédige les résumés IA.
📑 Sommaire de la Section
Sources Open Data
Inventaire des flux officiels : Assemblée nationale, Sénat, HATVP et ministère de l'Intérieur.
Orchestrateur d'Ingestion
Déroulement pas à pas du batch nocturne, du batch intraday et de la gestion de la fraîcheur (ETag).
Commandes CLI
Répertoire complet des commandes de synchronisation, d'audit, de rattachement et de calcul de statistiques.
Qualité des Données
Règles de cohérence, seuils de tolérance, contrôles d'intégrité et audits automatisés.
Enrichissement IA
Résumés de scrutins, de dossiers et de sujets, fiches de parlementaires : données fournies, régénération et contrôle.
Modèle Prisma
Catalogue des 42 tables relationnelles, conventions de nommage et cycle de vie des mandats.
Schémas ERD
Diagrammes entité-relation complets, générés depuis le schéma Prisma.
Suivi des modifications
Ce que garantit updated_at, et comment ne récupérer que ce qui a changé.