En parallèle à la version linéaire de la vidéo de présentation Memowalk, nous proposons une version interactive. On ne peut pas marcher cette vidéo, mais du moins on peut aller cliquer sur les chapitres qui nous intéressent pour en savoir plus.
Merci à Sveva Wickel qui a réalisé cette version non linéaire dans le cadre d’un stage.
Après un période de mue technique où nous avons semé beaucoup de nouveau code dans la plateforme Memoways, le printemps naissant va voir arriver les premières pousses de Memoways, avec entre autres l’application qui permet de “marcher des films”…
En attendant mai, où ces pousses vont pouvoir passer de main à main et marcher de leurs propres forces, voici une vidéo qui présente dans les grandes lignes cette nouvelle application mobile Memowalk.
Ce qui va arriver:
– une version universelle de l’application Memowalk. Cette application va remplacer les versions actuelles de l’application “Walking the Edit” et les versions spécifiques comme Mémoire Vive ou Heritage Experience;
– une plateforme de remix, Memobeam. Il sera possible de remixer un flux vidéo (ce que nous appelons “Beam”) venant depuis la plateforme Memoways, de donner un nom à ce remix et de le partager via du code d’embed. Mais le principe le plus important reste que l’application Memowalk fonctionne entièrement sur ce système de Beams, avec le gros avantage que l’utilisateur peut charger dans son application mobile le / les beams qui l’intéressent. Voir plus bas pour les détails.
– une intégration complète entre les divers composants logiciels de la plateforme Memoways. L’application OS X Tansa (l’éditeur qui permet d’indexer des contenus) permettra de générer des Beams à partir d’une recherche multi-critère: il suffit de faire “pomme B” et le navigateur affiche le Beam généré à partir de cette recherche. La console d’administration web Michi (gestion des usages) permettra de gérer les projets et les éditeurs, en attendant de recevoir d’autres fonctionnalités comme les statistiques, la gestion des Beams et des walks (films marchés), des paramètres des algorithmes utilisés etc.
– en juin 2014, la fin du projet de recherche “Move Your Story“ qui va nous permettre d’optimiser sérieusement notre algorithme de montage. Plus de nouvelles prochainement…
La nouvelle version de l’application mobile Memowalk aura les fonctionnalités suivantes:
– Chercher / trouver / charger les beams intéressants en fonction de la localisation (périmètre géographique) et de catégories. Il est également possible de créer son propre beam depuis Memobeam et de récupérer le flux de contenus sur l’application mobile;
– Avoir une vision d’ensemble lors de l’expérience de “marcher son film”: où on est sur le territoire en relation avec les contenus via une carte dynamique, de voir la dynamique de montage via une représentation du processus de montage, de voir les détails des contenus sélectionnés etc;
– Voir le film et tous ses détails directement dans l’application mobile et publier le / les films que l’on aime sur le web pour les partager;
– Créer son identifiant via son profil Facebook / Google+ ou un compte Memoways.
Rendez-vous dans quelques semaines pour des captures d’écran et plus de détails autour de ces applications… Et un peu plus tard, pour les essayer “grandeur nature” !
Depuis le projet de recherche mené entre 2008 et 2009, nos diverses itérations de l’application mobile “Walking the Edit” ont été cadrées par deux impératifs principaux: les besoins directs liés au projet artistique et les possibilités techniques émanant des diverses versions de iOS.
Le mouvement général du développement logiciel part donc d’un projet unique, sur un mode “one shot” à une plateforme générique très modulaire.
L’application étant déjà assez compliquée dans le mode “one shot”, le fait de concevoir une architecture évolutive et modulable demande de gros efforts de développement sur plusieurs fronts: côté serveur, côté back end gestionnaire de projet, côté application mobile et finalement présentation des films dans un navigateur web.
Depuis 2009, une petite dizaine de développeurs différents ont travaillé sur ces chantier, ce qui a permis de réaliser des avancées notables pour réaliser des adaptations (Paris, Bruxelles, Genève etc) mais en même temps a rendu le code plus compliqué à gérer. Il faut aussi savoir que depuis le début du projet en 2009, il y a eu 4 différentes versions du serveur avec lequel devait interagir l’application mobile.
Entre un serveur très basique qui ne savait rien de ce qui pouvait se passer sur le terrain à un serveur qui prenait une partie du travail (comme le fait de générer un film à partir des rushes), il y a eu divers états de ce “cerveau central”.
Ces itérations ont accompagné les évolutions des technologies mobiles (qui n’existaient pratiquement pas lorsque nous avons commencé en 2008) et les avancées des techniques web (nous avons migré du flash au HTML5, utilisé des protocoles écrits à la main pour nos propres besoins à des standards comme les API’s REST etc).
Dans les grandes lignes, les diverses versions de l’application WE pour iPhone ont eu les caractéristiques suivantes:
– 2009: application native, où le son du film été “streamé” depuis les réseau 3G. Une fois le parcours publié, les films devaient être générés sur un serveur, ce qui prenait parfois des heures… Les problèmes: soucis de perte de signal audio; temps de création des films. En outre, l’application était difficilement évolutive et le système ne pouvait pas “scaler” (passer d’un mode expérimental avec peu de monde à un mode en utilisation massive)
– 2010: application avec vues “web app“ (HTML5). Le même système mais avec une vue web du processus de montage (nos bulles). Cette application était déjà visuellement plus proche de ce que nous voulions faire à l’époque, mais avait des soucis de disconnection lié à l’utilisation du réseau data
– 2011: réécriture de l’application en natif en lien avec la nouvelle version du serveur. Les bulles ont été abandonnées au profit d’une expérience utilisateur plus fluide – mais le son passait toujours par un flux data.
– 2012: mise à jour de l’application avec intégration des contenus audio dans l’application. Il fallait télécharger un “package” avant de pouvoir marcher son film. Première version qui trouve sa place – enfin – sur l’appstore.
– début 2013: nouvelle mise à jour de l’application native pour être compatible avec le nouveau serveur; automatisation des “builds” (création de versions spécifiques de l’application pour les diverses adaptations). Les limites de cette version là: évolutivité restreinte (modularité du code pas complète); pas de compatibilité avec le nouveau concept de “Beam”. Nous avons donc décidé au milieu de l’année 2013 de programmer une toute nouvelle version de l’application, repensée de fond en comble et surtout fonctionnant de manière plus générique.
– fin 2013: la nouvelle version de l’application intitulée “memowalk” arrive en version test. Nicolas Goy a passé une bonne partie de cet automne 2013 sur la programmation de cette nouvelle version, qui va pouvoir bénéficier des 5 années d’expérience et surtout de la plateforme logicielle Memoways, qui permet de modulariser les divers composants de cette application. Cette nouvelle version apporte les fonctionnalités décrites dans ce billet du blog de Memoways.
Nous allons revenir ici plus en détail sur les fonctionnalités de cette nouvelle version, une fois qu’elle est prête à être publiée sur l’appstore.
Nous visons le premier trimestre 2014 pour une mise à disposition publique de Memowalk.
En attendant, voici une galerie avec quelques screenshots de cette nouvelle application.
Attention, le design et les fonctionnalités vont encore évoluer au fur et à mesure du développement – c’est juste pour donner une idée de la direction prise et des fonctionnalités qui vont se trouver dans cette nouvelle version.
L’adaptation parisienne de Walking the Edit, intitulée “Heritage Experience” est depuis ce soir sur l’appstore.
Cliquez sur le bouton pour installer…
Quelques détails pour cette version localisée:
Heritage Experience est un service numérique culturel innovant dédié à la valorisation du territoire et du patrimoine. Basé sur une application iPhone novatrice, Heritage Experience permet d’explorer de manière sensible un territoire et d’accéder en mobilité à un ensemble de contenus audiovisuels géolocalisés (images d’archives, interviews d’usagers du territoire, points de vue d’experts, récits d’habitants…).
Heritage Heritage est développé par Dédale dans le cadre du programme européen SmartCity, laboratoire d’innovation urbaine sur la ville créative et durable. Le projet fait l’objet d’une première expérimentation dans le Sud de Paris, en partenariat avec la Cité internationale universitaire de Paris et C-Side Productions.
Le projet Heritage Experience est soutenu par le Ministère de la Culture et de la Communication dans le cadre de l’appel à projets « Services numériques culturels innovants 2010 » ainsi que par le DICRéAM. Heritage Experience bénéficie d’un partenariat avec l’INA (Sdec).
Le site web : http://heritage-experience.fr
Le mode d’emploi pour utiliser cette application à Paris:
Comment “marcher son film” ?
Dans l’onglet “Enregistrement” appuyez sur “Démarrer”. Sélectionner le scénario d’usage qui vous intéresse ou sélectionner “surprends-moi” pour un choix aléatoire. Le scénario d’usage est en quelque sorte le genre du film.
A la fin de votre ballade, pressez sur “Stop”. Votre trajet (et donc votre film) va se trouver en dernier dans la liste de l’onglet “parcours”.
Note: Vous n’avez pas besoin d’enregistrer des vidéos par vous mêmes, vous allez “simplement” composer un film à l’aide de vidéos qui ont été préalablement géolocalisés et qui existent déjà autour de vous…
Marchez et écoutez, le film sera visible à la fin de votre ballade.
Comment voir le film résultant ?
Simplement en allant cliquer sur le trajet / film qui vous intéresse et cliquer sur le bouton “voir”. Une connection internet par Wifi est indispensable pour cette opération.
Afin de publier le film sur internet, il faut d’abord créer un utilisateur dans l’onglet “Réglages”. Pour ce faire, il vous faut une connection internet (3G / Wifi). Une fois que vous êtes connectés à votre compte, vous pouvez donner un titre au parcours voulu (“Renommer” le film).
Puis cliquez sur “Publier” pour envoyer le film sur le site web de Heritage Experience. Vous pouvez à ce moment là regarder et partager votre film en allant sur la page suivante: http://heritage-experience.fr/fr/
Où est-ce qu’il est possible de marcher un film ?
Vous êtes en train d’utiliser l’application HE Paris-Sud, il faut donc idéalement se trouver dans cette partie de la ville pour avoir la meilleure expérience (voir la carte ci dessous). Mais il est possible de tester depuis n’importe où dans le monde – simplement le film résultant fera peu sens avec votre contexte immédiat.
Depuis la sortie de la première application WE sur l’appstore (we@brussels) nous avons continué de développer notre application smartphone sur les points suivants:
– Choix du scénario d’usage. Le scénario d’usage est en quelque sorte le “genre” du film que l’on peut choisir dans une liste entre 2 et 4 possibilités. Par exemple pour l’adaptation parisienne, nous avons “La Cité à travers les âges” (le passé de la CIUP), “La Cité aujourd’hui” (le présent) et “Tour du monde en 80 pas” (des vidéos en lien avec les nationalités présentes sur le territoire). Soit l’utilisateur sait ce qu’il veut (le passé par exemple) soit il peut sélectionner “Surprend-moi” pour laisser le moteur de montage choisir un scénario pour lui. L’idée est de mieux “cadrer” l’expérience utilisateur via une limitation plus logique des contenus, sachant que c’est toujours notre “continuité thématique” qui va garantir une construction causale plus continue.
– Une vue plus complète sur les infos d’un média. En plus des infos déjà présentes (titre du média, durée et thématiques) nous avons ajouté les infos suivantes: nom de l’auteur, date de création du média, tags.
– Une amélioration du moteur de montage. Il s’agit de la “pièce maîtresse” incontournable de l’application, qui permet de réaliser le montage du film en temps réel via une utilisation “intelligente” des métadonnées. Nous avons amélioré la relation vitesse de la marche / rythme du film et la proximité au média le plus proche; au final, l’expérience du montage en temps réel devrait être améliorée dans la plupart des cas. Afin de pouvoir pousser encore plus loin cet algorithme, nous sommes en train de programmer un simulateur pour tester les variables via un trajet déjà enregistré, afin de voir comment le moteur de montage sélectionne les médias dans la base de données. Il sera ainsi possible de voir ce que le moteur retient et ce qu’il “loupe”, et de faire changer les variables afin d’arriver à produire le résultat le plus proche de ce que nous cherchons.
Voici une visualisation du processus de montage:
– Visionnement du film directement depuis l’application. Ceci est une grande avancée, même si la lecture n’est pas encore totalement fluide (il y a un bug dans le kit video de Apple). Donc en sélectionnant un parcours que l’on a enregistré, il est possible de visionner le film directement depuis l’application (mais il faut être connecté en WIFI pour lire les vidéos). Une fois que l’on a vu la vidéo il est possible de la nommer et de la publier; il est bien entendu également possible de visionner les vidéos déjà publiées (qui sont sur le site internet).
Voici deux captures d’écran pour cet ajout:
– Nouveau “pipeline” pour la génération d’application spécifiques. Comme nous faisons une application par projet / adaptation, il nous faut une logistique bien architecturée pour pouvoir facilement lier les contenus (fichiers audio et métadonnées) à des informations et visuels spécifiques au projet. Nous avons maintenant un système quasiment automatisé pour “builder” (compiler) ces applications localisées et les installer simplement via un lien internet sur n’importe quel smartphone iOS (sans devoir passer par l’appstore). Il est prévu de pouvoir automatiser complètement ce processus directement à la sortie de l’application Memoways: il suffira de sélectionner les assets (médias) qui doivent être inclus dans le “package” de l’application mobile et de sélectionner “Build”, et une réaction en chaîne démarre pour finalement aboutir à un lien généré qui pointe sur l’application à installer. Cette automatisation totale est prévue pour cet été.
Voici une capture d’écran de la page de téléchargement d’une application localisée (on reçoit un lien par un mail, on clique dessus et on installe simplement via cette page web l’application sur son propre téléphone).
Pour finir, il est important de mentionner qu’une nouvelle version de l’application WE pour iPhone est en chantier – elle sera là dans le courant de cet été et apportera une toute nouvelle expérience utilisateur et des fonctionnalités supplémentaires. Plus d’informations sur cette application vont suivre d’ici le début de l’été.
Après 3 refus (en grande partie liée à la mauvaise compréhension de l’application), Apple a enfin “libéré” notre application sur l’appstore !
Clic sur l’icône pour installer via iTunes…
C’est une page qui se tourne: maintenant nous allons pouvoir publier des versions localisées de l’application WE pour iPhone afin de permettre des usages publics du dispositif WE dans les villes où nous avons réalisé une adaptation.
Nous prévoyons donc de sortir prochainement des versions spécifiques pour les villes de Genève, Paris et Bâle.
Maintenant que cette version peut vivre sa vie, nous allons pouvoir nous concentrer sur une toute nouvelle application avec des fonctionnalités et un design bien plus élaboré: l’architecture est en place, il s’agit maintenant de la programmer… Rendez-vous au printemps 2013 pour une première version de cette toute nouvelle application !
La route est longue (avant de pouvoir marcher des films): après quelques versions beta / test (2010, 2011), nous voici tout près du but.
L’application WE pour iPhone va arriver ! Bon, il faut encore qu’elle passe par Cupertino (la “censure” d’Apple) avant d’être gratuitement mise à disposition sur l’Appstore… Mais la version actuelle que nous sommes en train de tester fonctionne bien et il n’y a pas de raisons qu’elle ne passe pas la rampe.
Mais avant d’aller se précipiter pour marcher des films, il faut considérer les choses suivantes:
– il va y avoir une application localisée par adaptation: donc une application par ville. Nous allons commencer par Bruxelles (les premiers films marchés sont ici), puis Bâle devrait suivre dans la foulée (une vidéo qui simule un film marché à Bâle est visible ici). Il est possible de “marcher un film” ailleurs qu’à bruxelles, simplement un message s’affichera comme quoi le film résultant fera peu sens par rapport au contexte environnant; aussi, si l’on publie le tracé on aura bien un film au bout, mais avec une carte qui montrera le tracé effectué ailleurs que là où sont les images…
– aussi, lors de l’installation de l’application sur l’iPhone (iOS 5 au minimum !) les fichiers audio de l’adaptation vont être installées dans le téléphone. L’avantage direct: il n’y a pas besoin de connection réseau pour entendre son film. Pour donner une idée, l’application Bruxelloise pèse environ 100Mo pour presque 1000 fichiers…
– les adaptations existantes (Genève, Paris, Renens) vont suivre d’ici fin 2012 via des applications spécifiques (il faut migrer les vidéos de l’ancien système vers le nouveau).
Quelques captures d’écran de l’application en attendant de pouvoir la toucher, en vrai…
Un “guide” plus descriptif va suivre tout prochainement, en se concentrant sur l’expérience (enregistrer son parcours, entendre son film, publier son parcours).
Afin de poursuivre les développements pour notre application WE pour iPhone, nous cherchons un(e) développeur iPhone.
Lieu: Genève, centre ville
Disponibilité: de suite
Type d’engagement: idéalement un développeur indépendant pour environ 20 jours de travail cumulés jusqu’à fin 2011. Nous avons le budget pour 20 jours de travail, mais selon la dynamique créée, potentiellement d’autres applications basées sur les mêmes principes, ainsi qu’une application iPad pour des usages plutôt cartographiques peuvent s’ajouter au mandat.
Profil: développeur iPhone expérimenté; bonne maîtrise des outils collaboratifs de développement, notamment GIT. Expérimenté à l’utilisation de librairie javascript (JQuery) et interaction avec un serveur d’API.
Une bonne vision et utilisation du web actuel (HTML5, réseaux sociaux etc) est également souhaitée; nous cherchons une personne ayant quelques années d’expérience tout en étant ouverte et curieuse sur de nouveaux développements à “inventer” (flexible est ouvert/e à de nouveau langages et outils de développement). Organisé(e) et précis(e), vous avez le goût du travail en équipe et du partage des connaissances.
Pour plus d’informations sur l’application actuelle, les fonctionnalités existantes ainsi que celles à ajouter, voir ce billet en anglais.
Pour des questions et contact: [email protected]
Picture by Charles Ayats
The road to publish an application on the appstore can be long: for many different reasons our 4 beta applications where not able or ready to be officially distributed.
Now that we changed a lot of things in the application (from a web app to a native application; from a server / client relation to an almost client only solution; from a audio stream to an internal audio playing solution) and we built up a complete new server solution (powered by Memoways), the WE app for iPhone is in the approval process at Apple.
We should know in the next days how it works out and if the following application will be freely downloadable by any iPhone user.
The app icon
The app works like this:
Après près de deux mois de chantier, nous sommes à deux doigts de pouvoir envoyer à Apple la toute nouvelle application WE totalement réécrite en natif. Pour mémoire, la première application pour iPhone était développée comme une “web’app”, donc en utilisant beaucoup de ressources réseau et avec des désavantages décrits dans ce post.
Marco Scheurer et son équipe de Sente ont travaillé en lien avec Nicolas Goy pour développer les aspects suivants:
– écrire l’application en mode natif, pour pouvoir maximiser les chances que l’application puisse être validée chez Apple et qu’elle puisse être plus réactive et maîtrisable;
– nous avons décidé de centraliser un maximum de processus dans le téléphone pour éviter d’être trop dépendants du réseau et de permettre une autonomie plus grande à l’utilisateur. Ainsi, le moteur de montage et la base de données sont installées puis synchronisées sur le téléphone, c’est juste le flux audio qui est envoyé depuis le serveur (dans le nuage chez Amazon) au téléphone;
– actuellement, pour des raisons de fiabilité de débit nous avons décidé de limiter la qualité audio à 48kbit/sec – c’est un compromis en attendant que Zencoder nous mette à disposition de l’adaptive streaming pour la mi février;
– l’application est encore au stade beta, et la première version qui pourra être envoyée à Apple sera encore très basique et limitée autant dans les fonctionnalités que dans l’interface graphique. Nous n’avons pas encore pu implémenter la fameuse interface à bulles – là nous avons juste une playlist qui défile et qui permet d’avoir une idée plus précise des médias joués (durée, nom artistique, thématique);
– afin de donner une idée à l’utilisateur des contraintes techniques existantes (signal GPS et fiabilité du réseau 3G DATA), nous avons ajouté deux petites indications de couleur pour signaler si tout est ok (indicateurs au vert) ou s’il y a un problème avec le GPS ou le canal DATA (indicateurs en rouge);
– tout le système est actuellement prêt à pouvoir automatiser toute la chaîne depuis le déclenchement de l’enregistrement du parcours à la sauvegarde du film (avec un nom personnalisé) visible directement après sur le site internet.
Les limitations qu’il faut connaître:
– il faut désactiver la mise en veille du téléphone (mise en veille = jamais), sinon dès que l’appareil se met en veille ça coupe le son (et tous les processus); nous cherchons encore la manière de continuer les processus (écriture du tracé via le GPS, sélection des médias via le moteur de montage) et l’écoute du flux audio;
– après 3 à 5 minutes, il arrive souvent qu’au milieu de la lecture d’un média le son s’arrête, mais le compteur temporel du média continue: il faut simplement arrêter le film (clic sur stop), puis le sauver et recommencer un autre film;
– en dessous de 5 médias joués, il n’est pas possible de sauver le film (pour éviter d’avoir trop de films avec juste 2 à 3 médias)
– et comme décrit plus haut, la qualité audio est actuellement mauvaise du fait de la forte compression; cela va être amélioré dès la mi février avec la fonction de l’adaptive streaming;
– avant de marcher son premier film il faut créer son utilisateur sur une page spécifique (à venir).
Pour l’utilisation, veiller aux conditions suivantes:
– bien charger son téléphone avant de faire une ballade: l’application est très gourmande de batterie et va la vider très vite (à cause du GPS et des accès réseaux intensifs)
– désactiver le WIFI (être sûr que l’on reste en 3G lors de la ballade, le fait de switcher du WIFI au 3G peut parfois entraîner des perturbations)
– utiliser le dispositif dehors: l’application marche seulement avec un bon signal GPS (le voyant position doit être vert, cela veut dire qu’il y a une précision d’au moins 100 mètres, ce qui n’est pas le cas si la position est calculée via les antennes de téléphonie) et il faut aussi avoir un bon signal DATA (le voyant vert audio doit aussi être vert, ce qui signifie que le flux audio est transporté via le réseau cellulaire).
– si l’application reste capricieuse (surtout avec les anciens modèles d’iPhone, le 3G par exemple), il faut désinstaller l’application du téléphone et la réinstaller.
Attention aux “pièges” suivants:
– selon l’état du réseau, il se peut que lorsque l’on clique sur Stop ou Sauver (le film) la commande prenne du temps à être prise en compte; il faut donc éviter de recliquer sur le bouton. Si l’on clique sur le bouton démarrer après avoir cliqué sur stop, on redémarre un film et le film marché est irrémédiablement perdu!
– il faut au minimum 5 “médias” (plans joués) pour pouvoir sauver; il est conseillé de faire des enregistrements entre 2 minutes et 20 minutes. Au delà, risque de bug et sans doute aussi film trop long à regarder après…
Toute personne intéressée de tester l’application peut me contacter par mail dès le 24 janvier 2011.
Un grand merci à Marco et Nicolas pour leur travail de qualité et leur patience !
