Des données ouvertes narratives

Après nos deux causeries de l’hiver et du printemps (Machines à conter et Narrations interactives & Big Data), la question des données continue son chemin au sein du chapitre provençal de Storycode.

Pour mieux cerner cette question, je reprend l’angle d’approche qui nous concerne soit:

• une perspective d’auteur audiovisuel

D’une telle perspective, je considère aussi le contexte que nous continuons d’apprivoiser:

• un contexte interactif

J’aborde ainsi le couplage donnée-métadonnée en fonction de cette perspective et de ce contexte et… je replonge dans la profondeur du sens que porte le terme narrations interactives. Puisque nous pouvons convenir que cette narration, exprimée par un auteur, s’articule sur une donnée numérique, nous pouvons aussi établir que, pour envisager cette donnée dans sa dimension interactive, la donnée narrative peut être décrite par une métadonnée qui permet sa recherche, sa découverte, sa ré-appropriation et sa recomposition – son mashup donc – sur le web et sur Internet.

D’autant plus qu’un auteur audiovisuel qui utilise une caméra numérique compose déjà avec les métadonnées. Par exemple, une image ou un plan (une donnée donc) captée par l’appareil génère une métadonnée du standard EXIF (Exchangeable Image File Format) qui informe sur la date et le lieu de capture, les paramètres de la caméra ou l’identité du créateur.

Dans un contexte interactif toutefois, pour imaginer des expériences possibles à partir de ces données et métadonnées narratives, il me semble essentiel de chercher une granularité plus fine dans la donnée numérique qui articule la narration. L’idée s’inspire en partie des musiques électroniques et des musiciens qui re-combinent de nouveaux morceaux en segmentant des morceaux existants: riff par riff, rythme par rythme, mélodie par mélodie. De là, je me pose les mêmes questions: Quel est l’équivalent du sample musical pour le cinéma ou la narration audiovisuelle? Quelle est la pertinence de cette méthode de création dans un contexte interactif tel celui du web et d’internet?

Des cinéastes ont déjà cherché à dégager des éléments primaires de l’image de cinéma. Des samples cinématographiques à partir desquels de nouvelles créations sont possibles. Je garde pour ma part à l’esprit les cinèmes que le cinéaste italien Pier Paolo Pasolini décrit dans L’expérience hérétique: langue et cinéma. Il y définit les cinèmes comme les “objets qui se coordonnent à l’intérieur d’un plan”. Avait-il pressenti la vision numérique (computer vision) qui, par des algorithmes, permet d’identifier des composantes connectées et d’extraire des caractéristiques visuelles à l’intérieur de séquences vidéo, des nuages de pixels qui portent chacun leur sens? D’une certaine manière, sa perception du langage cinématographique peut devenir un point de départ pour l’auteur audiovisuel qui aborde sa narration dans un contexte interactif. Elle aide à penser et choisir une direction des données narratives.

Parce que ce l’auteur d’une narration interactive s’exprime à travers une matière numérique, il baigne dans les idées qui influencent l’évolution des technologies internet. Parmi elles, la place des données reste centrale. Je peux m’inspirer du sampling des musiques électroniques ou des cinèmes de Pasolini. Toutefois, le mouvement qui, de Tim O’Reilly à Tim Berners-Lee, accorde un rôle capital à la donnée m’incite à revisiter sous cet angle les éléments primaires d’une narration interactive. J’envisage alors une donnée narrative qui:

• s’articule sur une séquence ou un flux audiovisuel;
• est une composante connectée avec d’autre à l’intérieur de cette séquence ou de ce flux;
• peut être sélectionnée et considérée dans le cadre d’un processus de création artistique;
• peut être détectée et extraite dans le cadre d’un processus technique de vision numérique;

Abordée en ce sens, une donnée narrative ne révèle donc qu’une strate parmi les diverses strates que comportent un plan de cinéma ou flux audiovisuel. Elle perce ce flux en profondeur pour révéler une parmi ses multiples composantes. Une donnée narrative peut aussi se révéler au-delà d’un flux audiovisuel. S’il aborde sa création dans un contexte mobile, le créateur d’une narration interactive pourra par exemple considéré une coordonnée géographique dans son choix de données narratives. Quoi qu’il en soit, chacune de ces données peuvent ensuite être décrites par une métadonnée, “une donnée sur la donnée” narrative. Une métadonnée narrative qui peut, par exemple:

• décrire la présence d’un personnage;
• décrire la trajectoire d’un objet;
• décrire une forme;
• décrire une texture ou une couleur;
• décrire un son ou une musique;
• décrire des coordonnées géographiques et temporelles;
• indiquer la durée de la donnée narrative;
• indiquer la taille de la donnée;
• indiquer le lieu de création et le nom des créateurs;
• être structurée pour faciliter l’indexation et la réutilisation créative d’une donnée narrative sur Internet.

Le dernier point invite à un choix créatif qui considère des idées essentielles qui traversent les technologies du web et d’internet. Le créateur de narration interactive qui structure ses données et métadonnées suivant des principes du web des données ouvertes (linked open data) invite à une découverte de son univers au-delà des silos imposés par des dispositifs et des plateformes. Sa “direction des données” implique un choix créatif qui influence déjà les “modes d’interaction” avec sa narration. Son point de vue sur le monde s’exprime auprès des humains et devient appréciable… par les machines.

Photo: Daniel Robert via unsplash.com / Licence: Creative Commons Zero

Rapport de LabZ #1: Zeega vs Popcorn

Du 18 au 20 mars 2013, à l’invitation du centre de création Zinc à la Friche Belle de Mai de Marseille (France), 8 créateurs multimédia ont expérimenté autour des récentes applications web Zeega et Popcorn. Zinc lance ainsi sa série de laboratoires – ses LabZ – dans un nouvel espace dédié aux expérimentations en arts numériques: Le Transistor. 3 jours pour comprendre et creuser les possibilités de ces deux nouvelles plateformes. 3 jours aussi pour envisager ensemble de nouveaux paradigmes et la suite à donner aux expérimentations. Parce que des logiciels en ligne tels Zeega et Popcorn proposent aussi, en plus de leurs fonctionnalités, de nouvelles formes et interactions audiovisuelles.

“ceci n’est pas un écran”

Ce thème choisi par les organisateurs du LabZ fait écho à l’identité hybride de ces plateformes et des objets culturels qu’ils aident à créer. Entre codes informatiques et contenus audiovisuels, Zeega et Popcorn questionnent la création multimédia. Bien sûr, l’interaction avec ces deux outils est médiée par un écran. Bien sûr, les objets multimédia qui en sortent sont captés sur un écran. Mais l’écran rend-t-il la complexité et la richesse des flux qui s’y articulent? Notre LabZ s’oriente donc autour du thème “ceci n’est un écran”. Une piste que j’inscris dans la continuité de mes questionnements sur les relations entre création et diffusion cinématographique sur le terrain des interfaces. L’idée maîtresse du laboratoire nous pousse à chercher au-delà de l’outil. Cet outil qui aide à composer les flux n’est pas un écran. Cette composition de flux qui résulte de son utilisation n’est pas non plus un écran. Le thème du LabZ oriente donc nos réflexions et nos expérimentations vers les rouages et les contextes de ces plateformes. Zeega et Popcorn ne sont pas des écrans. Sont-ils des réseaux? Des cultures? Des codes? Des matrices? Des liens? Des systèmes? Des applications? Et, les objets qu’ils aident à créer? Des projections? Des circuits de diffusion artistique? Des réseaux de liens entre monde réel et immatériel? Des interfaces culturelles?

une mindmap

Avant nos expérimentations, notre thème directeur nous permet de prendre un recul par rapport aux outils. Les deux premiers jours, notre ambition exprimée est de communiquer l’idée “ceci n’est pas un écran” sans l’influence et les limites des outils de création. Chaque participant collabore pour tracer une carte des idées ou mindmap commune. Nous voulons diriger l’outil, éviter de se faire diriger par lui. Notre carte aborde le territoire du code informatique. Un participant plus à l’aise sur ce terrain cherche une manière de connecter nos expérimentations par l’interface de programmation (l’API) de Zeega. D’autres tracent sur la carte les possibilités de composition avec la bibliothèque Javascript de Popcorn. Pour moi, la mindmap devient une méthode pour poursuivre la découverte de nouveaux territoires cinématographiques – hors des supports physiques vers la coordination de bits d’images en mouvement mis en réseau.

L’expérience de cartographie collaborative amorce une conversation autour des diverses visions de ce futur cinématographique. Si elle nous laisse entrevoir nos limites techniques, notre carte permet tout de même d’imaginer nos propres interfaces vers l’idée maîtresse du LabZ. La mindmap dévoile une conscience partagée des possibilités au-delà des fonctionnalités, avant de naviguer les interfaces des outils eux-mêmes. Au deuxième jour du laboratoire donc, “ceci n’est pas un écran”, c’est une carte des idées!

un commun: contenu et API

L’appel de Fabien et Diego, initiateurs de ce premier LabZ, invitait à une création commune. Outre la carte des idées, ce commun s’est défini par une base de contenu et par un lien entre tous les projets Zeega via son API (interface de programmation). En si peu de temps, la stratégie de contenu reste une ébauche mais nous pouvions déjà percevoir les débuts d’une méthode. Dans les choix esthétiques (une tendance vers les images en noir et blanc et les musiques atmosphériques). Dans les choix techniques (le format d’encodage et d’indexation des fichiers média). Dans les choix légaux (entre les contenus du domaine public d’Internet Archive et les morceaux musicaux en licence Creative Commons sur SoundCloud). Via les hyperliens d’un simple document partagé, cette phase m’a semblé une des plus collaboratives. Un des mantras du web participatif: “data is the next intel inside” sous-tendait nos recherches et réflexions sur notre matériau. Notre base commune de données médiatiques établissait l’unité de nos expérimentations. Une unité encore creusée par l’indexation commune de chaque “Zeega” via le tag [labzinc] et par leur appel via des items de l’API. En périphérie des outils explorés, ce début de méthode co-créative m’a laissé entrevoir des suites possibles du LabZ.

petite histoire des “machines à mashups”

Parce que, pour certains d’entre nous, le LabZ offre aussi une perspective sur la petite histoire de ce type d’outil. Le souvenir de Vuvox s’y manifeste à quelques reprises. Le souvenir d’un logiciel similaire implanté en 2006 ancre (déjà!) nos expérimentations dans un contexte historique. Nous voici, début 2013, avec Zeega et Popcorn. Qu’est ce qui continue? Qu’est ce qui change? À travers nos parcours de créateurs, l’apparition de ces applications web résonne de différentes manières. Les choses continuent: nous agençons toujours des images et des sons. Les choses changent: l’interactivité ouvre une autre dimension de nos agencements. Pour ma part, Vuvox puis Zeega et Popcorn implantent l’idée d’un cinéma comme interface culturelle (Cinema as a cultural interface) proposée en 2001 par Lev Manovich dans Le langage des nouveaux médias (Langage of New Media). Les “machines à mashups” centrées sur des données cinématographiques créent des interfaces culturelles. Et nous, comme usagers de ces “machines”, devenons créateurs de ces interfaces. Nous interfaçons vers les sources via les morceaux médiatiques que nous remixons. “Pas uniquement les intégrer mais travailler avec les médias, pas seulement les recueillir mais les utiliser pour produire quelque chose de fondamentalement nouveau” comme le dit Jesse Shapins, un des co-fondateurs de Zeega. Et ce “nouveau” implique la curation comme fondement de l’acte de création. Par nos créations, nous devenons diffuseurs.

À titre de pionnier de ce que j’appelle “machine à mashups médiatiques”, Vuvox misait sur la créativité de développeurs Flash/ActionScript pour composer des agencements entre des flux provenant des services de partage média tels Flickr (pour les photos) et Youtube (pour les vidéos). Avec Zeega et Popcorn, les principes du mashup demeurent. Principes du mashup web pour les développeurs qui puisent dans les APIs (interfaces de programmation) d’autres plateformes. Principes du mashup audio et vidéo pour les usagers qui mixent divers samples audiovisuels en une seule création.

futurs LabZ: des outils aux langages?

De Vuvox à Popcorn puis Zeega, nous sentons toutefois que les bases technologiques changent. Alors qu’avec Flash et son langage ActionScript, l’objet audiovisuel reste détaché du contenu web, l’adoption progressive du langage HTML5 amène l’objet audiovisuel au coeur du contenu web. Abordée de manière frontale, la séquence cinématographique devient une séquence de données binaires, une matrice, aussi malléable que le texte. Dans ma perspective, l’intérêt d’initiatives telles le laboratoire de Zinc est de comprendre et dé-construire cette matrice. L’empreinte laissée par cette question “What is the matrix?” continue d’influencer ma perception de l’image en mouvement numérisée et mise en réseau. Rien à voir (sinon très peu :-)) avec la question du personnage de Morpheus, je me réfère plutôt à la question posée et expliquée par la documentation du module Jitter du logiciel Max/MSP. Avec les spécifications émergentes du langage HTML et notamment les possibilités de scriptage audiovisuelle à partir de la balise <canvas>, cette empreinte trouve son écho dans l’évolution du web. Je me demande alors si les applications, machines à mashups telles Vuvox, Zeega et Popcorn ne sont pas des distractions face à l’essentiel du travail des créateurs de cinéma. Les créateurs de cinéma qui naviguent dans le web, naviguent dans les codes du web. Pour ma part, et pour en revenir à notre thème de laboratoire, ces applications font écran aux codes.

Après avoir consacré un certain temps à Vuvox, j’ai décidé de comprendre certain concepts derrière ces codes du web. Mes petites “vox” restent depuis lors figées (ici et ici) dans un SWFObject que je comprend peu et qui échappe à ma volonté d’évolution créative. Un retour à Zeega et Popcorn pour les expérimentations du LabZ ménera-t-il à une même fin? Chaque application contribue pourtant des formes et des fonctions absente de Vuvox. Zeega propose une plus emphase, dans ses compositions, sur les sources médiatiques utilisées comme matériau. Elle propose aussi des effets visuels complémentaires à ceux de Vuvox.

Popcorn met en évidence, sur son interface, la possibilité de voir le code source d’une composition créée ou en cours de création. Elle laisse aussi entrevoir de nombreuses possibilités de compositions audiovisuelles via sa bibiliothèque Popcorn.js.

Des possibilités que nous avons effleuré lors du LabZ. Des possibilités qui se sont quelque peu dissipées alors que nous tentions d’apprivoiser les fonctionnalités de chaque interface. Notre carte collaborative des idées avait balisé un terrain qui nécessite, pour son développement, une approche ouverte et programmatique. Nos outils du jour nous ont ramené dans de petits carrés de sable! Ne nous méprenons pas, j’ai aimé découvrir et créer mon petit “Zeega”. Je garde aussi en haute estime le tout Popcorn au-delà de Popcorn Maker. Cinéaste et co-initiateur de Popcorn, Brett Gaylor exprime depuis les débuts du projet Web Made Movies, en 2011, l’objectif de sortir la vidéo de sa petite boîte noire et de “la faire fonctionner comme le reste du web: hackable, liable, remixable et connectée au monde qui l’entoure”. Je rejoins cet objectif. D’autant plus qu’entre son interface intuitive et sa bibliothèque Javascript, Popcorn vise la collaboration entre créateurs de média et développeurs du web.

Au cours de ce premier LabZ, je me demandais toutefois où nous nous situons. Entre créateurs de média et développeurs du web, quels types d’usagers de ces outils sommes nous? En quoi pouvons nous y contribuer? Pour faire un parallèle avec d’autres outils que nous connaissons mieux: les logiciels de montage et compositing vidéo, les techniques qui s’implantent ici ne sont pas que des techniques déjà créés par des artisans du cinéma. Zeega et Popcorn ne sont pas Final Cut Pro et Adobe After Effects qui transposent les coupes, fondus, rotoscopies du film argentique au web numérique. Il s’agit pour moi d’un nouveau langage audiovisuel et interactif qui s’écrit. Et, dans le contexte d’un langage naissant, je préfère rester au plus près des racines. Tendre vers une meilleure connaissance de ses codes. Poursuivre une meilleure compréhension de ses concepts. Viser une meilleure maîtrise de ses logiques.

Pour les futurs LabZ, pouvons-nous forger une identité hybride, entre créateurs de média et développeurs du web? Plutôt que se consacrer à une plateforme, poursuivre la compréhension du langage? Structurer des méthodes de communication en vue de collaboration avec des développeurs? Expérimenter entre codes du web et séquences de cinéma plutôt qu’entre les cases d’interfaces graphiques? Amener des développeurs vers une sensibilité cinématographique? Amener des créateurs vers des logiques informatiques?

1. Commençons par un script que nous tenterions de comprendre le premier jour du laboratoire.

2. Avec un développeur invité, le deuxième jour, nous communiquerions l’implantation souhaitée pour des interactions à l’intérieur d’une balise <canvas>, <audio> ou <vidéo>.

3. Le troisième jour, à partir d’une séquence audiovisuelle commune, chaque participant exprime sa vision des possibilités par une session de codage collaboratif.

Nous ne devenons pas nécessairement codeurs, mais nous apprenons ce nouveau langage audiovisuel en bougeant des morceaux de codes. Nous demeurons créateurs de média ou de cinéma. À travers ce regard de créateur, LabZ par LabZ, nous revisitons la séquence audiovisuelle et désignons de nouvelles manières de l’aborder dans un contexte interactif. Nous creusons sa riche et dense matrice d’informations pour ensuite contribuer aux communautés créatives. Et, dans la lignée des hacker spaces, living labs et fab labs, le Lab de Zinc contribue aux possibles.

Popcorn's Amazing Potential

With the release of version 1.0 of Popcorn Maker, cinemakers welcome the first tool that has the potential to turn them into webmakers. The goal of Popcorn is shared across all the project’s channels since mid-2011: to bring video out of the box.

One question for cinema makers now become: how to turn web processes into cinematic compositions? For a time, softwares from Apple Final Cut Pro to Adobe Premiere and After Effects have helped computerize cinematic techniques. Techniques that were once crafted on film stock by film makers. Computer codes confined cinematic imagery from a certain era.

Now, with the web, cinema is bound to expand. With an application like Popcorn, what cinematic compositions can webmakers imagine within the web as platform? Moreover, what cinematic compositions can developers and designers imagine with Popcorn.js, the html/javascript framework running behind this cinema machine?

Aside from being a web cinema authoring tool, Popcorn development is driven by remix culture. Until now, the most vivid inspirations coming from such culture bloomed from music. From dub to hip-hop and electronic music, the remix of musical elements carries the potential for infinite regeneration of musical forms and aesthetics. Elements from the long history of music: beats, riffs and melodies always return into the mix. Even through sound sharing systems such as SoundCloud, music returns to its original bits.

To imagine cinematic compositions possible with web apps such as Popcorn, a return to the bits of cinema is needed. History of movies already guided the roadmap to Popcorn version 1.0. Cinema history and aesthetics can also drive imagination of future versions of the Popcorn.js Javascript library and Popcorn Maker plugins.

What Popcorn Javascript’s module can Hitchock’s fade-ins/fade-outs inspire?

What compositing techniques from Méliès could help compose live feeds from the web?

What imagination could Pasolini and Tarkovsky contribute to the development of connected cinema?

Remix culture can communicate by echoing cultural commons. With collective cinematic memories guiding web development of the Popcorn platform, an amazing potential opens for all cinema makers to turn into web makers.

Remix culture can create new cinematic interactions by revisiting the core elements of cinema. With Popcorn exports to web codes building those cinematic compositions, cinema makers become web coders.

And that’s amazing!

image sources: street photography by Alex Coghe +++ trip to the moon by George Mélies

Cinematic interactions: Discrepances

Diego Ortiz recently proposed its Discrepances project at Alhambra cinema in Marseille. Started in 2010, Discrepances is a cinematic mediated reality project which connects two different times in one space: the time of the filmmaker-artist and time of the user-participant. An audiovisual path has been captured by Diego that the participant explores with a mobile. The soundtrack act as the glue between both times. On Friday April 27th and Saturday April 28th, Discrepances took a special twist as the cinematic path experienced by the participants unfolded through the rooms of an independent cinema house.

The idea lies in the combination of an older technique know as the sequence shot with the more recent ideas of mediated reality. The project does not fully yet integrate location-based web technologies but uses the soundtrack and voice over to connect both spaces. At Alhambra cinema, the path actually starts in the next door cafe with a picture of a scene taken from a Marcel Pagnol film. For the participant, the walk begins when the picture hanging on the wall of the cafe loads the motion pictures of the exact shot from the film on the mobile. The sensation is strong since you are in a similar type of cafe probably not that far from where the scene was originally shot in the south of France.

With only this beginning, Discrepances carries the promises of more context aware cinematic interactions. The project plays with memories, moments and motions. Its mise-en-scene involves both the physical and the screen space, the theatrical and the cinematic. As the web evolves towards audiovisual, geolocation and peer connection with html5 and real-time communication, I am also curious to experience a next Discrepances composing sensitive connections between a location and my unique path within it.

Interactive beings, interactive documentaries

 

This post was first published for the i-docs blog and reflection group on the emerging forms of interactive documentaries.

 

Interactive beings are interactive documentaries

Interactivity starts within me. What I experience from the world and people around me transforms my perception and understanding of what is possible. New layers of my being emerge to the surface, other layers vanish. I am already interactive. No technology is involved. How I structure this experience is the beginning of an interactive documentary. Technology might be a good tool to articulate this structure. A tool directed by my personal interactive processes. I first have to find ways to be more conscious of those.

Among the ideas that stimulate my thinking about interactive documentaries, the idea of digital perspective brought by Olivier Auber (@olivierauber) and Yann Leguennec (@ylg11) keeps coming back. The two artists put us as actors of a new invention comparable to the spatial perspective which led the passage from the hierarchical world of the Middle Ages to the Renaissance, comparable to the temporal perspective born with the telegraph two centuries ago and which still dominates today. Within the digital perspective we are co-creating, they say, the vanishing point becomes vanishing code. This code is not only computer or digital code. It is genetic code, biological code, social code, psychological code. This code vanishes into the complexities of people and communities.

I find the idea of vanishing code is a way to be conscious of our interactive beings – and of the internal processes that «document» our beings: memory, behaviour, cognition, perception, expression. A vanishing code reaches out to technology but begins with something deeper. Once we know mobile web technologies can capture data documenting are every motions, we are interactive documentaries. We are led to question why we move the way we move. Why we behave the way we behave? Why we remember the way we remember? Why we perceive the way we perceive? With the many «whys», interactivity is already happening. We are led to structure meanings and represent the forms of this interactivity.

 

Interactive beings make interactive documentaries

My understanding of interactive media grows with my understanding of cinema. I have my historical and aesthetical reference points towards which I turn to grasp a bit of what’s ahead. I feel those were 20th century preludes to 21st century patterns. Interactions with the moving image have had a progressive evolution that now turn exponential. For my comprehension of interactive documentaries, I like to recall how the first moving images captured were documentaries.

I really enjoy the idea of using early cinema material to communicate how modern computer code can process and generate cinematic imagery. In my exploration of cinematic interaction design, I worked with Exiting the Factory by the Lumière brothers. In that cinematic shot from 1895, are the workers in any way also interactors? Is the maker, Louis Lumière, documenting facts or expressing perceptions? Going through one image from the sequence, we can sense at least a desire for interactivity in the look thrown at the camera by one worker. Louis Lumière’s point of view is also acting upon a relationship with the workers, his employees. What internal, interactive processes led to the workers look at the camera? What internal, interactive processes led to Louis Lumière’s point of view expressed through his choice of camera angle? Forward 116 years later, using mobile web technologies, what if the worker point of view generates and mashes-up with that of the Lumière brother creating a mixed reality?

In that hypothetical interaction, I see an interactive documentary in the making. The forms of which are based on known and unknown cinematic aesthetics – and ethics because interactive documentary also call for functions and thus behaviours along a shared interface. The forms would certainly show influence from cinematic editing and compositing but also web data visualizations and dynamically generated motion graphics: aesthetics which structure meaningful relationships between networked audiovisual events. The functions would call for actions using symbols and icons forged in image bitmap data, generated by systems tracing the paths and motions of the interactors and possibly structured from peer-to-peer principles: ethics would be necessary to connect computer and digital code to cinematic code, genetic code, biological code, social code, psychological code.

 

Interactive beings act through interactive documentaries

Once layers of codes come to structure forms and functions, the design of interactive documentaries by interactive beings participates in an open system. My private space finds way to a common space where actions are called. I see the interface of interactive documentaries as such a way. For actions to be called, the interface must leave room to the expression of my interactive being. So I see the interface of interactive documentaries as a choice of codes – across all codes. The «whys» come back to define this choice. Why choose that social code? Why build with that computer code? Why even consider cinematic code? Will interactive documentaries be designed around the moving image or moving interfaces? Interactive beings are called to act on both sides of the interface. We can’t if they are stuck watching!

So, why base the interface of interactive documentaries on one core of cinematic code: the moving image? As the status of interactive beings on both sides of the interface evolves, I am sure this cinematic code is also bound to evolve. Following discussions around An Aesthetic for Web Made Movies blog post, I came across a short conversation to define the viewer/user of interactive cinema. The word «vuser» was proposed. I like it although I am still looking for a term that would also involve the maker. «Mavuser» is ugly (!) but, in the meantime, the word «interactor» help me grasp a bit of the emerging status.
As the cinematic code of interactive documentaries evolves, interactors will act on all dimensions of interactive documentaries interfaces. The same way Lev Manovich defines the difference between «closed» and «open» interactivity when asked What kind of interaction?, interactive documentaries will not be pre-determined but will be «generated in real time in response to user’s actions».

The cinematic code will evolve from moving images to moving interfaces.

Our interactions with the world and the beings around us ultimately are the interactive documentaries we want to experience. Our interactions need to be informed by «how» and «what» technology make possible but the most important question remains the «why» of these actions. We have to be conscious of codes inside and out. We need to design from them. Conscious of interactions, our interactive documentaries are no longer «content» they become «systems». They call for new behaviours, new motions.

Le temps d’un torrent

Le temps d’un torrent, je me demande qui sont les pairs qui contribuent les pièces du fichier de cinéma qui se construit sur ma machine. Les pairs vont et viennent dans un onglet de l’interface mais, qu’est ce qui nous connecte autour de ce cinéma? Quels morceaux chaque pair a-t-il chargé? Au delà de la consommation culturelle, qu’y a-t-il en commun dans ce que nous cherchons dans cette vision cinématographique? Surtout, je me demande: comment son créateur peut connecter avec nous, sa communauté? Et, si le film et le cinéaste appartiennent à l’Histoire, comment des cinéphiles et des diffuseurs poursuivent-ils la conversation?

Sur l’interface du client BitTorrent, je cherche une fenêtre sur un réseau, un wiki, un fil de microblog ou, mieux, un flux d’images en lien avec le film. L’interface m’informe que l’adresse IP 212.85.150.134 avec l’avatar d’un drapeau norvégien contribue ce “contenu” à hauteur de 213 kb/s, mais je veux qu’on me communique la “piece” que mon “peer” est en train de charger: la pièce de cinéma. Est-ce ce plan de l’intérieur d’une cuisine où des femmes interrompent leur jeu de carte pour regarder une émission de télévision? Les métadonnés du torrent peuvent-ils inclure des informations sur ce plan? Les scripts d’une interface pourraient-ils les interpréter? Visualiser les bits de cinéma (les «cinébits») qui s’écoulent chaque seconde? Visualiser la contribution d’un pair? Le temps d’un torrent, créer une base pour la conversation cinématographique entre créateur et membres de sa communauté?

Interactions with the moving image: scratching the surface

Interactions with the moving image question the ideas of the interface and of the image sequence. On one side, the human-machine interface which articulates functions built for the user. On the other side, the cinematic image sequence – the shot – which articulates forms imagined by a creator.

To perceive possible interactions, both ideas influence each other. Their roles meet. The image sequence behaves a bit more like an interface. It becomes a vehicle for the transmission of data not only of time, space and action but also that of a system or network. The interface behaves a bit more like an image sequence. It becomes a vehicle for the communication of a culture, of a creation or a worldview.

Such remix opens on an hybrid, technological and cultural object.

This remix of concepts also guides design choices. It guides the collaboration among creators (designers, developers, creative coders) around the moving image. For example, the choice of an icon for the interface is considered in relation to a choice for the composition of the image sequence. Graphics from an interface can be worked from an image sequence and vice-versa.

Pixels from the shot influence a user’s behavior.

Pixels from the interface inspire an emotion to the viewer.

Cinematography is no longer a stranger to interface design.

What are the motivations for merging the ideas of image sequence and interface? Cinematic creativity for the web. Interface design for cinematic content. The necessity, for cinema makers, to dig deeper into the matrix of information that is a cinematic image stream? The necessity to articulate cinematic shots with the web? As cinematic image sequences capture unique perspectives on the world, cinematic interfaces articulate the dialogue through it.

Moreover, the motivations are driven by the context at stake. By the opportunities that open up for cinematic creativity. The path from analog to digital keeps alive the phenomenon of the moving image. The illusion of motion still manifests. The dynamic visual continuum is still a serie of static images.

If interaction design borrows from cinema (the storytelling, the scenario, the storyboard), cinema makers can also carry methods from interaction and ux designers (the maps, the concepts, the wireframes, the personas, the specifications, the interaction flows) to their art.

On the technical side, computer vision methods, emerging HTML tags, audiovisual metadata descriptors, Javascript libraries for interactions with bitmap images along with other developments continue to inspire new designs.

The user is now called for new behaviors when interacting with images. More significantly, the mobile web opens possibilities for interactions with moving images. In that context, cinemakers and designers collaborate to communicate with developers and creative coders.

New practices and experiments emerge around moving images. New grounds and issues reveal for moving image makers. We are at a border between production and distribution. A border which opens on new modes of participation within the flow of cinematic experience. The people in or behind the shots is also the community that can carry the cinematic bits. «Cinema as Cultural Interface» act as another guide for the design of interactions.

The interface does not restrict cinema to what it was or should be. An editing software does not freeze cinema within a format that belongs to the past. Rather, interfaces and image sequences start to talk. A cinemaker can consider the concept of interface within his cinematic project. A camera shot becomes a field upon which an information architecture can begin.

Understood as a sequence of data, the shot is perceived for its components.

For the informations we can extract from it.

For its points of interactions.

In his theory, filmmaker Pier Paolo Pasolini brought the concept of cinemes to describe a primary unit of cinema perceived beyond the shot. In the same way, if technologies allow to segment a video sequence and to detect blobs of pixels, the frame is no longer delimiting the field of cinema :

The actor can be extracted. His action can influence a user action;

The contours of an object can be traced. Its form can become an icon of the cinematic interface;

An alpha channel can be generated on an element. The space thus created can call for a mashup.

Combining methods, the interaction designer works with the cinema maker to communicate these possibilities.

Each shot wires with the web.

Interactions avec l’image en mouvement: gratter la surface

Des interactions avec l’image en mouvement font revisiter l’idée d’interface et l’idée de séquence d’images. D’un côté, l’interface informatique qui articule des fonctions implantées pour l’utilisateur. De l’autre, la séquence d’images cinématographiques: le plan, qui articule des formes imaginées par un créateur.

Pour percevoir des interactions possibles, les deux idées s’influencent. Leurs rôles se croisent. La séquence d’images devient un véhicule pour transmettre les données d’un espace, d’un temps, d’une action mais aussi celles d’un système, d’un réseau. L’interface devient un véhicule pour communiquer une culture, une création, un angle sur le monde.

Un remix des deux concepts ouvre sur la reconnaissance d’un caractère hybride: technologique et culturel.

Ce premier repère guide les choix de conception. Il oriente la collaboration entre créateurs autour de l’image en mouvement. Le choix d’une icône de l’interface est considéré parallèlement à un choix de composition de la séquence d’images. Les graphiques de l’un peut être extraite de celle de l’autre et vice-versa.

Des pixels du plan guident un comportement de l’utilisateur.

Des pixels de l’interface inspirent une émotion du spectacteur.

La cinématographie n’est plus étrangère à la conception d’interfaces.

Quelles sont les motivations pour ce mélange? Une créavité cinématographique pour le web. Un design d’interfaces pour le cinéma. La nécessité de comprendre la matrice d’information qu’est la séquence cinématographique. La nécessité d’articuler avec le web les points de vue d’un cinéaste. La séquence cinématographique capture cette perspective unique. L’interface articule le dialogue à travers elle.

Les motivations se nourrissent du contexte qui se dessine, des opportunités qui s’ouvrent pour la création cinématographique. Le passage d’un support argentique à numérique conserve les phénomènes de l’image animée. La seule illusion du mouvement s’y manifeste toujours. Le continuum visuel n’est toujours qu’une série d’images statiques.

Si quelques méthodes du design d’interaction s’inspirent du cinéma (le storyboard, le scénario, les séquences, les transitions), les cinéastes gagnent aussi à considérer certains processus des designers d’interaction (les cartes, les concepts, les wireframes, les personas, le prototypage, les spécifications, les flux et les autres).

Sur le plan technique, des méthodes de vision informatique, des balises émergentes du HTML, des descripteurs de métadonnées audiovisuelles, de modules Javascript pour l’interaction avec l’image matricielle et d’autres développements continuent d’inspirer de nouvelles conceptions.

Il y a aussi des fonctions communiquées par des interfaces qui appellent de nouveaux comportements de l’utilisateur face à l’image. Il y a, de manière plus significative, la mobilité du web qui ouvre des possibilités pour les interactions avec l’image en mouvement. Dans ce contexte, cinéastes et designers collaborent pour communiquer avec développeurs et collaborateurs technologiques.

Autant de nouvelles cultures qui germent, autant d’espaces et d’enjeux pour les créateurs. Nous sommes à une frontière entre création et diffusion. Une frontière qui ouvre sur la participation dans le flux de l’expérience cinématographique. Le «cinéma comme interface culturel» oriente ainsi le design des interactions.

L’interface n’encadre plus le cinéma dans ce qu’il devrait être. Un logiciel de montage ne fige plus le film dans son format d’hier. Plutôt, les interfaces et les séquences d’images correspondent. Un cinéaste considère l’idée d’interface pour son projet de cinéma. Un plan de caméra devient un terrain où peut commencer une architecture d’information.

Compris comme séquence de données, le plan est perçu pour ses composantes.

Pour les informations qu’on en tire.

Pour ses points d’interactions.

Dans ses théories, le cinéaste Pier Paolo Pasolini parle de cinèmes, d’unités primaires du cinéma perçues au-delà du plan. De même, si la technologie permet de segmenter le plan, de dégager des blobs de pixels, le cadre n’est plus seul à définir le terrain du cinéma:

L’acteur peut être extrait. Son action peut influencer une action de l’utilisateur;

Les contours d’un objet peuvent être tracés. Sa forme peut devenir une icône de l’interface;

Un canal alpha peut être généré sur un élément. L’espace créé peut s’ouvrir sur un mashup.

Par ses méthodes, le designer d’interaction travaille avec le cinéaste pour communiquer ces possibilités.

Chaque plan se trame avec le web.

Digging for cinematic channels

 

Many technologies now call for deeper manipulations of video streams. The recent HTML5 welcomes video as an integral part of the web through the <video> and <canvas> tags. Javascript libraries are stimulating the imagination for play with motion graphics. Along these developments, the field of computer vision continues to astonish with what is possible to extract from flowing pixels. It is still challenging to see how open web standards will merge with raw video processing but the potential can already be perceived. Most particularly, in the mobile context, Augmented Reality promises to compose extra feeds upon the audiovisual captures of portable devices.

Considering the cultural implications of such practice, I like the idea that the reverse is also possible. I like the idea of techniques to balance out and open spaces for creativity through a constant stream of visual data. Those techniques come from a branch of computer vision that proposes to reduce the noise and “diminish” reality. Labs approach the idea using different methods. I couldn’t tell which offers the best results between the methods proposed by the University of Florida or the Technical University of Ilmenau in Germany. But I realise they both call it “Diminished Reality“: The process of removing objects from video.

Can practical applications of “open video” lie within such development ? The possibility to open video spaces. Dig for cinematic channels. Regenerate canvas for new compositions. «Removing objects from video» to create ground for new connexions.

Le cinéma bouge

 

Aux cinéastes qui se révoltent face aux politiques de financement du cinéma, j’ai envie de rappeler que notre médium se transforme. Que les gestionnaires et investisseurs s’illusionnent encore du mirage de Star Wars n’empêche pas que des conversations se cultivent entre créateurs du web et ceux des images en mouvement. Vous avez raison, le mythe du blockbuster tient du dogme. Mais, le cinéma bouge. Nos plans se compressent et s’articulent, en source ouverte, à travers le réseau. Là, pour l’instant, le défi en est moins un de capitaux que de connaissances. Les logiciels pour le montage de nos séquences figent le cinéma dans sa logique d’hier. Le cinéma bouge. Il se communique maintenant en codes, en </balises>, en styles {, en <scripts>, en bits, en expériences, en mobilité, en interactions. À travers les écrans.