Comme tous les quelques mois, voici quelques nouvelles des chantiers techniques en cours.

Pour y voir un peu plus clair, j’ai fait une “mindmap” qui montre une manière (parmi d’autres) de structurer les éléments constitutifs du dispositif:

Les chantiers prioritaires sont l’application WE pour iPhone et un nouveau CMS; le moteur de montage et le site web vont devoir un peu patienter pour être améliorés.
Les enjeux sont les suivants: avec l’application disponible gratuitement sur l’appstore en version 1.0 (voir détails plus bas), il sera possible de faire tester de manière complètement décentralisée les personnes intéressées par le projet; aussi, l’existence de l’application montre que le projet existe concrètement et permettra de renforcer notre crédibilité (même s’il y aura encore bien du chemin à parcourir notamment sur la question du contenu, du moteur de montage et des adaptations). Il est important de considérer qu’il s’agit d’un exemple bien particulier (ce n’est pas une application “générique”): il s’agit d’une application à vocation artistique et qui montre un exemple bien spécifique, celui de “marcher un film” dans le cadre du projet WE.
Pour permettre à des institutions ou des collectivités de constituer et de gérer de manière indépendante leur propre adaptation, la conception d’un nouveau CMS basé sur un workflow optimisé est indispensable. Ce CMS, contrairement à l’application pour iPhone, sera construit pour fonctionner de manière “générique”, donc à de multiples usages et pour des adaptations variées. Un prochain billet va donner quelques scénarios d’usages exemple pour détailler les possibilités que seront offertes, potentiellement, par ce nouveau CMS.

• L’application WE pour iPhone.

Sur la base de l’application actuelle, il est prévu d’ajouter les fonctionnalités suivantes:

- création de login via l’application (en parallèle du login possible sur le site web)
- boutons de menu avec les éléments suivants (au minimum, plus par la suite): nouveau film (nouvel enregistrement) | historique des films (visionner les films marchés)
- écran enregistrement du film: interface à bulles et lecture optionnelle des métadonnées
- écran historique: liste des films marchés, visionnement du film sélectionné
- petites améliorations (sauvegarde automatique; fonctionnement en mode veille; réactivité, sensibilité, pouvoir regarder directement après la ballade le film composé…)

Ce chantier devrait démarrer les jours qui viennent et durer d’ici mi avril; l’idéal serait de pouvoir rendre l’application disponible sur l’appstore d’ici fin avril. A partir de là, nous rajouterons par la suite les fonctionnalités suivantes (entre autres, surprises à venir !): enregistrement de photos et de vidéos par l’utilisateur (user generated content); page de settings (pour paramétrer l’application, gérer le moteur de montage, afficher les médias sur une carte etc); fonctions réseaux sociaux (liens avec plateformes du type Foursquare etc); page d’aide…

• Le nouveau CMS.

Il s’agit de la pièce centrale pour pouvoir faire fonctionner le dispositif (upload de médias, création et gestion de métadonnées, gestion des utilisateurs, des thèmes et adaptations, des films, des éléments du moteur de montage etc).
Il est prévu de travailler avec la technologie Cappucino afin de rendre l’outil ergonomique et rapide (un peu comme une application native, cf exemple 280 Slides ou Mockingbird).

Nous allons procéder de la manière suivante:

1. établir les schémas de structuration de données (les champs de la base de données à la “source” du CMS). Vérifier que l’architecture est bien compatible avec les besoins actuels et surtout ouverte vers des implémentations et évolutions futures;
2. établir l’architecture du CMS et de la présentation / ergonomie des informations;
3. graphisme, layout des champs et structuration des fonctionnalités;
4. migrer les données dans la nouvelle base de données, renommer les médias en fonction d’une nouvelle nomenclature
5. implémenter la fonctionnalité d’import (depuis n’importe quel ordinateur) et de création de métadonnées créées directement à l’upoad du fichier (via un formulaire web)
6. pouvoir découper des séquences online (marquer des segments, puis exporter les segments comme fichiers indépendants)
7. fonctionnalités de base pour l’indexation
8. fonctions de recherche, tri et présentation de données et métadonnées (vision liste, carte, calendrier)
9. gestion des utilisateurs, groupes, adaptations, droits, listes, thèmes…

Ce chantier va également démarrer dès la mi mars; une première version opérationnelle est prévue pour fin avril.

Il s’agit bien de la pièce maîtresse de tout le dispositif, même si c’est la partie que l’on a pu le moins travailler jusqu’à présent (les autres chantiers étant indispensables pour pouvoir tester ce moteur, donc ils sont passés devant). Ce n’est que grâce à ce moteur que l’application pour iPhone peut sélectionner les “bons” médias et les faire suivre de la “bonne manière” dans un flux audio qui va pouvoir être écouté en temps réel lors de la ballade enregistrée.

Depuis le dernier post sur le sujet, nous avons élaboré une nouvelle manière de chercher à sélectionner ces “bons” médias, en faisant un système de score: chaque critère (proximité, thématique etc) a une échelle de scores selon l’importance que l’on a envie de lui attribuer (voir les détails plus bas – c’est en constante évolution).

ACTUELLEMENT le moteur fonctionne avec les critères suivants (mis à jour le 22 janvier 2011):
-  proximité (chercher les médias les plus proches -> le plus proche reçoit 100 points, le deuxième 99 etc); nous sommes passés d’un préfiltrage de la base de donnée basée sur la proximité de 50 médias à 100 médias;
- continuité thématique (chercher les médias qui ont la même thématique que le média lu actuellement); nous sommes en train de faire des tests sur ce paramètre pour en même temps garantir une continuité narrative tout en évitant que le moteur sélectionne des médias trop loin du tracé…
- la relation vitesse – durée n’est pas encore implémentée mais le sera tout prochainement – à suivre…

Comme préambule concernant la terminologie utilisée: média = plan = clip (ça peut varier entre 3 secondes et plusieurs minutes; mais cela veut surtout dire qu’il n’y a pas de montage à l’intérieur de ce média).

Il y a également les contraintes suivantes:
– un historique garde la trace des médias sélectionnés par les trajets d’un utilisateur donné: l’enjeu est d’éviter qu’une même personne “reçoive” plusieurs fois le même média en faisant des trajets similaires;
- de la même manière, il est interdit de répéter un média deux fois dans le même film;
- on ne peut pas couper dans un média (obligation de jouer le média sélectionné sur toute la durée); donc si l’on a un long clip de 1min30 et que l’on pique un sprint au début de ce plan, ce n’est qu’à la fin de ce long clip que l’on va avoir des médias plus courts (que le moteur de montage nous retourne la forme du film relative à la structure de notre parcours, en l’occurrence avec une vitesse rapide donc avec des plans très courts).

Concernant les développements futurs, il faut savoir les choses suivantes:
– actuellement le montage est en “monopiste”: on est en “cut” de média à média (avec la contrainte de devoir jouer des plans de A à Z). L’idéal est d’être en multipiste, donc de pouvoir faire des inserts sur des pistes 2 et 3 et ainsi placer des plans courts par dessus ce long interview (voir exemple ci dessus) au moment où la personne change de comportement. Aussi, le multipiste permet de faire un montage en séparant une piste IN (des voix par exemple) des pistes EFFET (son spécial sur une courte durée) et AMBIANCE (son d’ambiance plus long, avec une ambiance à l’image également). Le résultat visuel sera défini en fonction de l’état des plans insérés (en mode audio seulement ou audio-visuel);
- il manque encore plein de critères pour affiner la sélection pour le montage:  continuité / discontinuité de la saison, du moment de la journée, tri par chronologie de date de tournage, d’origine (archive, tournages spécifiques), de sujet, de tags etc…
- il y a aussi la volonté de permettre à l’utilisateur de définir avant son parcours via un preset personnel ce qui l’intéresse de recevoir: film historique (donc préfiltrage de la base via les dates de tournages); film sur une certaine thématique (donc préfiltrage via une thématique choisie); film selon un type de média (par exemple seulement des interviews ou seulement des plans d’ambiance etc); films sur un sujet unique (seulement des bâtiments ou seulement des personnes etc); etc etc

Voici quelques détails des réglages actuels de notre calculateur de scores (écrit en lua):

Quelques lignes pour décrire dans les grandes lignes le travail qui se fait “sous le capot” afin de rendre ce dispositif fonctionnel pour le public. Il faut savoir que jusqu’à ces jours, presque tout se faisait “à la main” et tournait sur un petit serveur basé dans la région de Lausanne – il n’était pas envisageable de garder cette structure pour permettre d’automatiser les processus et de permettre à un plus grand public d’utiliser le dispositif.

Depuis 2009 (la fin du projet de recherche), tout le dispositif technique a été complètement revu et réécrit; ça a pris entre novembre 2009 et milieu 2010. Il s’agit donc de la base de données (le catalogue des séquences audiovisuelles ainsi que les métadonnées), le CMS qui permet de faire ce travail d’indexation et de cataloguage, le moteur de montage, les passerelles entre tous les éléments techniques, l’application iPhone, le site web ainsi que son CMS… La plus grande partie de tous ces travaux a été l’oeuvre de Nicolas Goy, qui travaille sur le projet depuis deux ans et qui a une expérience et virtuosité technique phénoménale. Un grand merci donc à Nicolas pour tout son travail !

Ensuite, nous avons fait plusieurs ajustements, améliorations et mises à jours (toujours l’oeuvre de Nicolas principalement):
- les médias (les séquences audio-visuelles qui forment le contenu de la base de données), stockées sous forme de fichiers mpeg2 au départ sur un serveur privé ont été transférés sur un stockage dans le nuage chez AmazonS3. Avantage: disponibilité immédiate, réactivité et surtout accessibilité totale;
- le service d’encodage est maintenant lui aussi dans le nuage et nous permet de traiter les vidéos juste après l’upload (conversions à la source dans tous les formats vidéos actuels et compatibles avec le HTML5). Nous utilisons le service de Zencoder qui est rapide et de bonne qualité (nous avons encodé depuis début novembre plus de 14000 minutes de vidéo…);
- nous ne faisons plus de concaténation des films marchés (la génération d’un fichier vidéo à part entière à partir de la playlist calculée sur base de l’analyse du parcours); maintenant les vidéos marchées sont tout de suite lisibles à partir des sources disponibles dans tous les formats. En effet, nous avons réécrit le lecteur vidéo sur le site afin qu’il mette en bout à bout les diverses vidéos choisies par le moteur de montage;
- l’application iPhone est en cours de réécriture complète grâce à l’équipe de Sente à Lausanne: en effet, l’application sous forme de web’app n’a pas donné satisfaction (trop dépendant de l’état du réseau 3G, pas assez réactive et précise, difficulté de maitriser le timing des médias joués, trous entre les fichiers…) et nous avons opté de la réécrire complètement en “natif”. Une nouvelle application générique (sans interface graphique et de graphisme ni de personnalisation) devrait être disponible pour test dès le 8 décembre 2010. Il y aura pour le moment seulement les fonctionnalités basiques (avec la possibilité d’avoir les détails des médias joués). Le grand changement lié à cette réécriture est le fait que le moteur de montage tourne en local sur le téléphone et que celui-ci envoie au serveur juste les requêtes des médias audio à jouer (qui seront ensuite “streamés” au téléphone).

Ces travaux sont en partie encore en cours donc pas tout est actuellement 100% fonctionnel, il restera encore pas mal de travail d’optimisation et de débugage à faire…

Ce qui ne marche pas encore (mais ce soir, 6 décembre grosse avancée):
- les films jouent d’une traite maintenant mais parfois saccadent (problème de bande passante ? compression pas assez forte ?) et semblent aussi prendre la synchro image-son
- il y a des améliorations sur la présentation des films (pages spécifiques pour chaque adaptation) mais il manque encore un mode recherche (autant par lieu, marcheur que de statistiques de parcours ou de métadonnées des images utilisées)

Ce qui fonctionne mieux:
- fluidité et réactivité des vidéos
- la qualité  technique des vidéos
- le fait de pouvoir marcher puis directement voir son film sans attente (cf ci dessus)