En attendant de pouvoir générer un film avec les paramètres décrits dans ce post, voici les premiers avec “stalker”, notre moteur de montage.

Le tracé (en vert-orange sur la carte) avec les clips choisis (les plans audio-visuels présentés ici sous forme de punaises); en dessous, la timeline (notre playlist en deux étages) qui présente les plans de type “contexte” (piste 2) et les plans “ambiance” (piste 1) ->cf ce post pour les détails.
Il est donc possible d’imaginer le film résultant (si l’on sait à quels clips se reportent les noms dans la timeline)…

Et une autre capture d’écran de notre nouveau CMS (l’interface de travail online pour notre base de données et le moteur de montage) :
- la combinaison du tracé (en orange) avec le lissage de vitesse (en vert), qui lui même est présenté sous forme de graphe ci dessous;
- les variations longitude / latitude
- et le lissage de vitesse (c’est là que l’on voit que sans lissage, il y a du bruit et ce qui est enregistré en brut depuis l’iPhone n’est pas vraiment utilisable)

Aujourd’hui mardi, nouvelle journée de tests. Nicolas Goy a fait un écran de visualisation sur le WEphone des médias sélectionnés par le moteur de montage, ce qui permet d’avoir une idée bien plus précise et en direct de ce qui est en train de se dérouler.
Voici une capture d’écran lors d’une ballade:

Les problèmes les plus flagrants:

• il y a presque toujours en premier 2 fichiers: 1 court et un long; il faudrait éviter d’avoir un fichier trop long pour commencer. Ce qui serait aussi idéal, c’est de limiter la durée des médias durant les X premières minutes de la ballade (à max 30 secondes de durée)…
• après un moment, le système commence toujours les films avec les mêmes médias, indépendamment où on est. Lors des derniers tests (5-6 films), j’ai toujours commencé avec un court et un long, les mêmes… Il faudrait faire de manière à ce que chaque film démarre autrement – donc presque aller chercher dans l’historique les médias choisis et interdire qu’on puisse avoir ceux-la.
• de manière générale, il y a beaucoup de redites – je me suis balladé dans un endroit bien chargé en médias, et le système me ressort assez régulièrement les même médias (et cela, sur les quelques derniers tests des derniers jours – j’ai souvent les mêmes médias, que j’ai entendus maintenant à travers tous les tests de ces derniers jours).
• le système choisit souvent des médias qui sont hors du périmètre du parcours (cf post précédent)
• il y a eu superposition de voix (devant un salon de coiffure, j’ai eu 3-4 fois le coiffeur qui me causait, assez vertigineux comme effet !).
• il y a peu de rapport entre la vitesse du parcours et la durée des médias choisis – j’ai presque toujours marché à la même vitesse et j’ai eu des médias longs et courts pèle mêle.

On s’approche d’un état publiable, mais il y a encore ces ajustement là à faire pour permettre une expérience satisfaisante.

Un grand merci à Nicolas Goy, Florian Poulin et Lionel Tardy qui travaillent d’arrache pied pour nous permettre de présenter le travail de 1 an et demi au public !

UF, 09.06.09

Afin de pouvoir déboguer précisément, il faut trouver l’erreur puis comprendre comment elle a pu avoir lieu – ce qui n’est pas évident au vu de toutes les étapes et paramètres qui entrent en considération dans le dispositif. Lionel a mis en place un outil très pratique, qui permet, via le CMS, de visualiser le tracé sur la carte ainsi que les médias sélectionnés par le moteur de montage.
Cela donne cette image:

Le parcours a été effectué par Lionel, il correspond parfaitement au chemin effectué (ce qui n’est pas le cas de tous les parcours enregistrés). Ensuite, on voit qu’il a entendu un certain nombre de médias qui ne sont pas placés par dessus son parcours (petits médias parasites ? – à voir avec Florian pour vérifier pourquoi ils ont été choisis); puis, ce qui s’est aussi passé pendant le parcours, est l’apparition du très long média qui “écrase” les autres.
Là, il y a deux solutions: on réduit le rayon des médias (ce que je suis en train de commencer de faire, à maximum 100 mètres – ce qui évite d’appeller des médias qui sont centrés loin de l’endroit où l’on passe), et la deuxième solution (complémentaire) consiste à fournir comme média de départ une sorte de générique de 10 secondes (musique + ambiance) qui fait que le moteur peut avoir à sa disposition un petit historique afin de déterminer si la personne marche ou pas. Actuellement, le risque est de fournir au marcheur un médias long sans savoir s’il marche ou pas.

à suivre…

UF, 07.06.2009

Après une première phase de tests techniques et ergonomiques, nous sommes maintenant en train de “métadater” les médias (que des vidéos pour le moment) pour mettre à l’épreuve le concept et pouvoir faire les premières simulations.

Voici quelques captures d’écrans de ce CMS (qui reste pour le moment privé, usage interne du groupe de recherche). Un grand merci à Lionel Tardy qui a travaillé depuis février sur la construction de cette solution personnalisée aux besoins du projet !

A télécharger, un PDF qui donne une vision d’ensemble des champs et listes, ainsi que le type d’analyse et de règles qui vont être appliquées par le moteur de montage. Également à télécharger, un PDF qui donne une idée du montage type, en simulant un montage avec les règles.

La page de départ:

Cette page permet d’importer des fichiers créés dans Final Cut: toutes les vidéos sont pour le moment préparées dans FCP, puis exportées sous forme de fichiers QuickTime natifs, puis compressés au format flash (quelques exemples dans ce blog). Puis, il est possible de paramétrer les thèmes, les listes, de gérer la structure et d’ajouter des utilisateurs. La partie la plus importante est “Gestion des médias”.

La page de gestion des médias:

C’est dans cette partie que nous devons définir:

- le titre artistique du média (sera présent sur la carte du module embarqué);
- le statut du média;
- le type de média;
- il est possible de placer le média d’origine sur la carte google intégrée, puis – et c’est là que commence le montage (spatial, ou spécial, c’est selon) – de placer le média sur la carte en fonction de ses combinaisons souhaitées avec d’autres médias placés dans les environs. C’est principalement ce choix qui va déterminer le premier choix de média intégré au film…

La page des métadonnées subjectives:

Ici c’est encore le chantier expérimental – c’est une partie importante (contenant les règles, les logiques d’analyse etc, ainsi que d’autres informations utiles pour classer / chercher / présenter les médias). Ce n’est qu’en expérimentant avec une certaine masse de médias la plus variée possible que nous pourrons tirer des conclusions et préciser les besoins réels – ce chantier là est en cours, autour de 300 médias sont à disposition.

La page pour définir les thématiques et les “tags” libres:

Page importante également: c’est ici qu’on détermine l’appartenance au nuage – c’est le choix du visiteur qui va déterminer dans quel “étage” thématique le média sera choisi; son choix aura forcément une incidence sur le contenu et la forme. Nous sommes en train d’expérimenter la l’indexation multiple d’un média à plusieurs nuages en même temps – mais avec une “intensité” différence (cf les 30/70 dans l’exemple).
Il y a également les tags qui permettent de personnaliser le contenu du média, puis ensuite de pouvoir former un nuage supplémentaire dans le site web (nuage de tags les plus utilisés par exemple).

Prochainement sera publiée la liste des champs et des variables utilisées, ainsi qu’un schéma expliquant la méthode d’analyse et les règles implémentées.

En parallèle, les collaborateurs de la HEIG-VD sont en train de préparer un simulateur du moteur d’analyse – cette application nous permettra de tester des premières combinaisons basées sur un itinéraire urbain.
Techniquement, il s’agit d’une application JAVA qui lit un fichier .csv venant d’un tracé GPS enregistré sur le module embarqué, puis analyse avec un certain nombre de variables ce tracé pour pouvoir ensuite exporter un fichier décrivant une playlist (le montage sous forme de suite de fichiers avec durée).

UF 12.06.2008