Rapport d'avancement du projet

[Changaco]

Je viens de passer deux semaines à améliorer legi.py, voici un résumé des changements :

• schéma SQL : améliorations et regroupement dans un fichier dédié (schema.sql)
• correction de la "factorisation" des textes
• anomalies : détection des articles et sections qui n'apparaissent dans aucun texte (orphelins)
• anomalies : meilleur gestion des dates permettant une détection rétroactive des anomalies et diminuant les erreurs transitoires
• tar2sqlite prend désormais comme argument un dossier et détecte dans celui-ci les archives qu'il n'a pas encore traité
• le projet est désormais structuré autour d'un module nommé legi plutôt qu'en scripts séparés
• il peut être empaqueté (https://pypi.python.org/pypi/legi est réservé mais il n'y a pas encore de première version publiée)
• test du code : tox, flake8, et Travis CI sont opérationnels

Enfin, il y a désormais une page publique montrant les anomalies détectées dans LEGI : http://anomalies.legilibre.fr/. Le code qui la génère est dans le nouveau dossier cron/ du dépôt.

[Changaco]

Je viens de publier la version 0.1 de legi.py.

• le README est désormais plus complet
• la détection des espaces manquantes dans les titres a été étendue
• la normalisation de cette anomalie a été similairement étendue
• la prise en charge du téléchargement des archives depuis le FTP a été ajoutée, pour l'instant via un simple wget
• la normalisation des titres sauvegarde désormais les données d'origine dans une table dédiée
• le schéma SQL est désormais migré automatiquement

[fgallaire]

Coucou @Changaco, je crois que j'ai déjà émis l'idée quelque part mais je ne me souviens plus où... Plutôt que de fournir les fichiers d'anomalies sur un ftp, que penserais-tu d'un dépôt Git ?

[Changaco]

@fgallaire J'en pense que ce n'est pas une priorité. Les fichiers d'anomalies sont avant tout pour la DILA, s'ils souhaitent que je les livre autrement ils savent comment me contacter.

[Changaco]

Je viens de recréer ma base SQLite et les listes d'anomalies à partir de l'archive globale du 2 mars. Résultat : le nombre a chuté de 3303 à 890.

Conclusion : il y a un bug quelque part, soit dans legi.py, soit dans le code de la DILA qui génère les archives incrémentales.

[Changaco]

Je viens de publier la version 0.2 de legi.py: https://github.com/Legilibre/legi.py/releases/tag/0.2

[Changaco]

La version 0.3 est arrivée : https://github.com/Legilibre/legi.py/releases/tag/0.3

[Changaco]

J'ai créé une version 0.3.1 qui sera la dernière compatible avec python 2.7 : https://github.com/Legilibre/legi.py/releases/tag/0.3.1