DeCompressor

DeCompressor (v1.0) est un logiciel qui a pour fonction de préparer les données préalablement à leur utilisation par les logiciels BioGenerator, HydroGenerator et PondMonitor.

DeCompressor a été entièrement développé par Erwann FILLOL Ph.D.
Pour toutes questions, veuillez contacter l’auteur : erwann.fillol@gmail.com

Les fonctions de DeCompressor sont de vérifier l’intégrité de la base de données satellitaires des trois champs DMP, NDVI et SWB, de décompresser les nouvelles décades téléchargées, et de préparer les fichiers vectoriels à leur utilisation par les programmes BioGenerator, HydroGenerator et PondMonitor.

L’exécution de DeCompressor préalable à l’utilisation des modules BioGenerator, HydroGenerator et PondMonitor est nécessaire dans trois cas :

• Après le téléchargement nouvelles décades DMP, NDVI ou SWB dans la base de données
• En cas de doute sur l’intégrité de la base de données
• Après la modification des fichiers de découpe vectorielle ADM_n.shp ou GEO_n.shp

Structure des répertoires

Il est primordial de respecter la structure et la hiérarchie des répertoires et des fichiers. Les programmes des modules DeCompressor, BioGenerator, HydroGenerator et PondMonitor doivent être placés à la racine du répertoire de travail ou répertoire racine. Les programmes fonctionnant en position relative, l’ensemble du répertoire racine peut être déplacé librement.

Figure 4 – Organisation des répertoires de données Data

Données NDVI et DMP

Le VITO fourni à Action Contre La Faim – Espagne ACF-E une version spécifique des produits décadaires DMP et NDVI. Ces données, présentes sous forme de décades, sont téléchargées régulièrement sur le site FTP du VITO.

La première étape consiste à récupérer ces données, sous forme de fichiers compressés .zip, via un programme de protocole FTP tel, par exemple, Filezilla. Le téléchargement doit être fait vers les répertoires Data/Download/DMP/ et Data/Download/NDVI/ respectivement pour les fichiers DMP et les fichiers NDVI. Les archives .zip ne doivent pas être décompressées. Le Tableau 2 montre la nomenclature des fichiers archives DMP et NDVI.

Produit	Nomenclature archives compressées	Répertoire de destination
DMP	DMP_aaaammjj.zip	Data/Download/DMP/
NDVI	NDVI_aaaammjj.zip	Data/Download/NDVI/

Tableau 2 – Nomenclature des fichiers DMP et NDVI compressés

Données SWB

Le VITO, au travers le projet européen DevCoCast, fournit les décades SWB téléchargeables sur le site Copernicus Global Land Service à l’adresse : land.copernicus.vgt.vito.be

Le site Copernicus nécessite une inscription pour l’obtention d’un compte (login et mot de passe). Une fois ce compte activé, les données SWB peuvent être commandées en formulant une requête sur le catalogue. Voici la liste des menus successifs pour accéder au catalogue des SWB nécessaires à partir de la page principale de Copernicus Global Land Service :

1. Water Bodies > Water Bodies Africa V1
2. Collection > Water Bodies Africa V1
3. Coverage > BioPar_WB_V1_CONTINENTS
4. Search
5. Sélection des nouvelles décades SWB à télécharger
6. Order now …

Figure 5 – Page web de requête des décades SWB sur le site Copernicus

Une fois la requête envoyée, et passée la période nécessaire à la préparation de la donnée, un email de confirmation de disponibilité est envoyé et indique l’adresse du site ftp où sont téléchargeables les fichiers réclamés. Les données alors disponibles doivent être téléchargées dans le répertoire de destination Data/Download/SWB/. Les données SWB se présentent sous la forme d’un répertoire par décade dont la nomenclature est donnée par le Tableau 3. L’intégralité du répertoire doit être téléchargée sans modification du contenu.

Produit	Nomenclature archives compressées	Répertoire de destination
SWB	WB_aaaammjj0000_AFRI_SAT_Vvv	Data/Download/SWB/

Tableau 3 – Nomenclature des fichiers SWB compressés

Découpages vectoriels

Six fichiers de découpages vectoriels sont utilisés par les programmes BioGenerator, HydroGenerator et PondMonitor. Ces fichiers se présentent sous la forme de shapefile (.shp) et sont initialement placés dans le répertoire Shape/

Les trois premiers fichiers nommés ADM_0, ADM_1 et ADM_2 correspondent respectivement aux découpages administratifs aux niveaux pays, régions et départements. Les trois suivant GEO_3, GEO_4 et GEO_5 sont libres d’être modifiés par l’utilisateur.

Pour modifier un fichier, il suffit de sauvegarder le nouveau fichier shapefile sous le nom cible GEO_3.shp, GEO_4.shp ou GEO_5.shp en remplaçant le fichier précédent. Il est à noter que les fichiers ADM_n.shp peuvent également être modifiés de la même façon, mais il est conseillé de conserver les découpages administratifs déjà existants.

Les nouveaux fichiers shapefile doivent contenir uniquement des polygones avec une table attributaire. Dans cette table attributaire, si l’une ou l’autre des colonnes ID et NAME existent, alors leurs valeurs seront reprises dans les tableaux et tables attributaires en sortie des programmes BioGenerator, HydroGenerator et PondMonitor, dans le cas contraire, ces colonnes seront créées avec un indice incrémental pour chacun des polygones présents dans le fichier.

Description	Nom	Répertoire	Fichier
Admin Niveau 0	ADM_0	Shape/	ADM_0.shp
Admin Niveau 1	ADM_1		ADM_1.shp
Admin Niveau 2	ADM_2		ADM_2.shp
Découpe Utilisateur 1	GEO_3		GEO_3.shp
Découpe Utilisateur 2	GEO_4		GEO_4.shp
Découpe Utilisateur 3	GEO_5		GEO_5.shp

Tableau 4 – Fichiers de découpage vectoriel

Exécution du programme

L’installation de MATLAB Compiler Runtime 7.17 est nécessaire avant l’exécution du programme. Si nécessaire, il convient d’exécuter le programme d’installation : Libs/Utils/MCR_R2012a_win32_installer.exe

Le programme DeCompressor se lance simplement en double-cliquant sur le fichier DeCompressor.exe
La fenêtre d’exécution montre l’état d’avancement du programme pour chacune des étapes. A la fin de l’exécution est inscrit le nombre de fichiers vectoriels convertis (shapefile), et le nombre de décades décompressées pour chacun des champs DMP, NDVI et SWB.

Figure 6 – Fenêtre d’exécution de DeCompressor

Fichier journal d’évènements

Suite à l’exécution du programme DeCompressor, dans le fichier texte Log/DataLog.txt est inscrit l’ensemble des évènements concernant la détection et la décompression des décades des produits DMP, NDVI et SWB.

La date et l’heure sont indiquées en première ligne, et ensuite l’ensemble des événements survenus pour le traitement des données DMP, puis NDVI et enfin SWB. Si une archive est corrompue et sa décompression impossible, cela sera signalé dans le fichier journal d’évènement.

Il est à noter que ce fichier n’est jamais effacé, et que chaque nouvelle exécution de DeCompressor rajoute une écriture.

Exemple d’écriture dans le fichier journal d’évènements Log/DataLog.txt après la détection et la décompression de deux nouvelles décades DMP, NDVI et SWB :

Exemples d’utilisations

Ce paragraphe présente deux exemples d’utilisation du programme DeCompressor. Le premier exemple concerne l’ajout de nouvelles décades à la base de données. Le second exemple montre incorporation d’un nouveau découpage vectoriel comme référence.

• Ajouts de nouvelles décades NDVI, DMP et SWB

Les décades NDVI, DMP et SWB sont disponibles au téléchargement généralement environ 24 heures après la fin de la décade.

1. Téléchargement des nouvelles décades NDVI et DMP : Les fichiers sont disponibles au téléchargement sur le site ftp du VITO. L’autorisation d’accès doit être préalablement demandé suivant les instructions données dans la section 2. Le téléchargement peut se faire par l’utilisation d’un logiciel de transfert FTP comme Filezilla. Les fichiers compressés .zip doivent être copiés vers les répertoires données dans le Tableau 2.
2. Téléchargement des nouvelles décades SWB : Les fichiers sont accessibles via le site internet land.copernicus.vgt.vito.be tel qu’expliqué dans la section 3. Une fois la requête envoyée, les fichiers peuvent être récupérés par l’utilisation d’un logiciel de transfert FTP comme Filezilla. L’ensemble des répertoires, un par décade SWB, doit être transféré dans le répertoire donné par le Tableau 3.
3. Exécution du programme DeCompressor: L’exécution du programme se fait tel que décrit dans la section 5. L’affichage rappelle le nombre de décades détectées et convenablement décompressées. Le fichier journal (section 3.6) informe l’utilisateur des erreurs survenues le cas échéant.

Modification d’un découpage vectoriel

L’utilisation d’un nouveau découpage vectoriel par les module BioGenerator, HydroGenerator et PondMonitor est possible. Les 3 premiers découpages ADM_0, ADM_1 et ADM_2 correspondent aux découpages administratifs, les trois suivants, GEO_3, GEO_4 et GEO_5 sont libres.

1. Sauvegarde d’un nouveau découpage : Le nouveau fichier vectoriel doit être sauvegardé sous le nom GEO_n.shp (n = 3, 4 ou 5) dans le répertoire décrit en section 4. Le fichier vectoriel doit être un shapefile, contenant uniquement des polygones et utilisant l’ellipsoïde de référence WGS-84. Si dans la table attributaire les colonnes NAME et/ou ID existent, alors elles seront reprises dans les champs de sorties des programmes, sinon, un indice incrémental sera assigné. Seuls les polygones faisant partie de la fenêtre géographique (Figure 1) sont pris en compte.
2. Exécution du programme DeCompressor: L’exécution du programme se fait tel que décrit dans la section 5. L’affichage rappelle le nombre de nouveaux fichiers vectoriels découverts et convenablement intégrés.