Club Drupal

Le CRI met à disposition des élèves et des associations une forge Redmine qui permet de centraliser tout ce qui concerne drupal. Avant, le wiki était dans le wiki du ginfo, les tâches sur le portail du projet et le code dans un dépôt git sur le compte sas de assos. Il a donc été décidé de migrer le wiki, les tâches et le code dans l’interface de redmine.

{{>toc}}

h1. Migration du wiki

Le wiki a été migré à la main en copiant collant le texte de l’ancien wiki et en adaptant la syntaxe et en mettant le contenu à jour. En effet lors du passage à redmine, la version utilisée ne permettait pas de faire du rest sur le wiki (malheureusement). Cela a également permit de mettre à jour toutes les pages du wiki.

h1. Migration du code

Comme il n’y avait pas de commit en dehors du commit initial, l’historique n’a pas été conservé et un nouveau dépôt vide a été créé et les scripts de l’installation y ont été ajoutés.

h1. Migration des tâches

h2. Généralités

Redmine dispose d’une API rest pour les tâches. Cette API permet de créer et de mettre à jour des tâches automatiquement. On écrit une tâche ou une mise à jour de tâche au format json ou xml et on l’injecte via les méthodes POST et PUT de HTTP. L’authentification se fait via une clé API disponible dans le compte de l’utilisateur (ou via login:mdp). Voici des exemples de commande (POST sert à créer une tâche et PUT à mettre à jour) :

<pre>

curl -X POST -v --data "@is.json" -H "Content-Type: application/json" -H "X-Redmine-API-Key: CLE" https://forge.centrale-marseille.fr/issues.json

curl -v -H "Content-Type: application/json" -X PUT --data "@3.1.json" -H "X-Redmine-API-Key: CLE" http://localhost/redmine/issues/ID_TACHE.json

</pre>

Plus d’info dans la doc de redmine :

* http://www.redmine.org/projects/redmine/wiki/Rest_api

* http://www.redmine.org/projects/redmine/wiki/Rest_Issues

h2. La méthode utilisée

Avant d’effectuer la migration en vrai, les scripts ont été testés en local avec une instance locale de la forge redmine. Les modules python permettant de faire du REST (cités dans le wiki officiel de redmine) n’ont pas été utilsés car ils n’ont pas donné satisfaction lors des tests préliminaires.

h3. Prérequis

Pour pouvoir exécuter les scripts, il faut :

* python3 avec les modules suivants : urllib, re, os, httplib2 (certains d’entre eux peuvent être dans votre installation de python3 (tous sauf httplib2 normalement), essayer de de les importer pour être fixé)

* Une copie du portail *avec les urls simplifiées activées et fonctionnelles* du projet avec toutes les tâches. Cette copie est indispensable car :

 * Les tâches doivent être accessibles par l’utilisateur anonyme pour ne pas avoir à configurer l’authentification dans le script qui poste les tâches. On ajoute une vue qui ne sert qu’à ça.

 * Il est plus facile d’accéder aux contenus avec les clean-url.

 * Il faut désactiver le module _book_ qui pose problème.

 * Installer les modules suivants :

  * _entity_json_ : il permet de récupérer (entre autre) la liste des commentaires d’un type de contenu à une adresse de type : @http://localhost/portail/entity_json/node/ID/json@

  * _restws_ : il permet de récupérer le contenu lui même à une adresse de type : @http://localhost/portail/node/ID.json@ ou @http://localhost/portail/comment/ID.json@. Il faut le configurer pour qu’il donne du json et pour quel type de contenu

 * Vérifier que les pages données par ces modules sont bien accessibles par l’utilisateur anonyme.

 * _pandoc_ pour transformer avec plus ou moins de succès (en général plus) le html en syntaxe wiki (textile). Voir http://johnmacfarlane.net/pandoc/ pour plus d’infos.

 * Faire des dictionnaires de correspondance entre les noms des champs de la tâche drupal et et les clés de la demande redmine.

h3. Les scripts

Pour migrer les tâches, nous avons écrit un script python disponible dans le dépôt dans source:scripts_divers/migrer_taches_vers_redmine/ et s’appelle _goto_redmine.py_. Ce dossier contient également :

* goto_redmine.py : le script qui effectue la migration. Il récupère les tâches au format json sur le drupal et les poste sur le redmine.

* fix-db.rb : ce script va rétablir dans la base de données les informations sur les utilisateurs et les dates dans la base de données de redmine. Il a été écrit en ruby car ce langage dispose d'un très bon module DBI.

* cmd : qui récapitule les commandes données ci-dessus.

* Le dossier exemples_json qui contient des exemples de tâches et de commentaires au format json pour savoir comment doivent être écrites ces données.

Normalement les scripts sont suffisamment commentés pour être compris par quelqu’un ayant fait du python et du ruby. Il faut néanmoins faire attention aux points suivant :

* json.load() : charge un json depuis un objet fichier alors que json.loads() transforme une chaîne de caractère formatée comme un dictionnaire en dictionnaire.

* doc utile :

 * "httplib2":https://code.google.com/p/httplib2/

 * "urllib.request":http://docs.python.org/dev/library/urllib.request.html