- The paper introduces a novel framework that distinguishes the design of meaning (signifié) from its multimodal expression (signifiant) in data corpora.
- It employs conceptual graphs and semantic networks, referencing John Sowa's theories, to structure and enhance knowledge representation.
- The methodology is applied to audiovisual data editing and visual storytelling using dynamic interfaces like OKAPI and OPALES.
Voici un résumé détaillé de l'article "Du modèle conceptuel des données à sa mise en scène multimodale" (2504.11459) de Peter Stockinger.
L'article propose une problématisation du concept de "design de l'information" en distinguant deux pratiques principales :
- Le design du sens d'un domaine de connaissance ou d'un corpus de données (le "signifié").
- Le design de l'expression, c'est-à -dire la mise en scène multimodale (visuelle, polysensorielle) de ce sens (le "signifiant").
L'auteur se concentre sur le domaine de la constitution, de l'enrichissement et de l'éditorialisation de corpus de données textuelles, notamment audiovisuelles.
1. Le Design du Sens d'un Domaine de Connaissance
Cette pratique concerne la spécification et la définition d'une vue sémantique sur un corpus ou un domaine. Elle vise à expliciter le contenu, le sens ou la valeur des données. Les techniques utilisées proviennent de disciplines comme la sémantique, la psychologie cognitive, la sémiotique, l'informatique et le web sémantique.
L'outil méthodologique central est le réseau sémantique ou conceptuel, souvent représenté sous forme de graphe. Ce graphe qualifie le sens d'un objet selon un point de vue et un contexte d'usage. L'article se réfère particulièrement à la théorie des graphes conceptuels de John Sowa, qui offre un cadre formel pour structurer et représenter les connaissances.
Un modèle conceptuel d'un domaine de connaissance, basé sur les graphes conceptuels, repose sur plusieurs composantes :
- Une hiérarchie de concepts.
- Une hiérarchie de relations entre concepts.
- Des individus ou occurrences, souvent réunis en thésaurus ou terminologies.
- Des configurations caractéristiques entre ces unités, représentées sous forme de graphes conceptuels (réseaux sémantiques).
On distingue les graphes génériques (relations entre concepts, représentant des types de situations) et les graphes d'individus (relations entre instances ou occurrences, représentant des connaissances locales sur des entités spécifiques).
L'élaboration de tels modèles conceptuels soulève plusieurs problématiques pratiques :
- Identification et définition d'un canon de concepts : Choisir les concepts pertinents pour décrire le domaine.
- Élaboration d'une hiérarchie de concepts : Structurer les concepts du plus général au plus spécialisé.
- Identification de la variété sémantique des individus : Définir les instances possibles pour chaque concept (souvent géré via des thésaurus externes comme Ethnologue pour les familles de langues, GOLD pour les descriptions linguistiques, RAMEAU ou TheSoz pour les sciences humaines).
- Identification et définition des relations entre concepts : Définir les types de liens sémantiques possibles et leurs contraintes (par exemple, la relation "partie de" ne lie que certains types d'entités).
Pour être utile, un modèle conceptuel doit être adaptable aux besoins variés des analystes. La théorie des graphes conceptuels propose des opérations (expansion, condensation, projection, abstraction, enchâssement) pour dynamiser le modèle. L'environnement OKAPI (Open Knowledge-based Annotation and Publishing Interface) développé à l'INA est cité comme un exemple concret d'interface dynamique basée sur les graphes conceptuels et les technologies du web sémantique (RDF/OWL) pour la modélisation et l'analyse de corpus audiovisuels. La Figure 1 illustre un formulaire dynamique dans OKAPI.
La qualité d'un modèle de connaissance dépend de sa valeur empirique (sa capacité à décrire un corpus réel), de son caractère formellement explicite, et de son interopérabilité et portabilité.
- Portabilité : Réutilisation de parties du modèle dans d'autres projets d'analyse (ex: modèles décrivant des topoï récurrents dans la recherche en SHS).
- Interopérabilité : Capacité à tenir compte des ressources métalinguistiques existantes (thésaurus, ontologies, terminologies) et à s'y connecter, permettant ainsi l'accès à un champ intertextuel plus large via des données liées (Linked Data, ex: DBpedia).
L'article distingue également :
- Une théorie formelle de représentation (ex: la théorie des graphes conceptuels elle-même, avec sa syntaxe et ses règles).
- Une théorie du domaine (une théorie empirique sur la structure des connaissances du domaine modélisé).
La théorie empirique peut être :
- "ad hoc" : Construite spécifiquement à partir d'un corpus donné (ex: le modèle du monde des mineurs pour le projet MemoMines, basé sur des archives vidéo de l'INA, Figure 2 et 6 montrent des extraits de l'ontologie MemoMines). Les étapes d'élaboration d'une telle théorie empirique ad hoc sont détaillées.
- Générale : Une théorie de référence plus large, potentiellement réutilisable et extensible, servant de cadre à plusieurs projets ad hoc (ex: l'ontologie ASA - Atelier de Sémiotique Audiovisuelle - développée à l'INA, Figure 3, 8 et 9 montrent des extraits de l'ontologie ASA et de son modèle général du texte). L'ontologie ASA modélise un texte audiovisuel comme une superposition de "strates" (thématique, visuelle, sonore, rhétorique), chaque strate étant composée de segments décrits selon des contraintes spécifiques, permettant des liens entre les strates.
2. Le Design au Sens de la Mise en Scène Multimodale
Cette pratique concerne l'expression et la visualisation du sens des données, souvent via des techniques graphiques ou polysensorielles. L'article distingue :
- L'expression "naturelle" du sens (le langage quotidien, le monde perçu).
- Le design comme technique spécialisée (l'"information design" historique, le "technical writing" pour visualiser des procédés complexes).
- La data visualisation au sens usuel (visualisation de données quantitatives via histogrammes, nuages de points, etc.).
- La visualisation de métadonnées ou des vues/interprétations d'un corpus (Figure 4 montre une interface OPALES visualisant un graphe d'individus décrivant un segment vidéo ; Figure 5 et 12 montrent les interfaces OKAPI visualisant les métadonnées basées sur le modèle de strates). Ces interfaces sont des "vues de l'analyste" sur la donnée structurée.
- La visualisation pour l'utilisateur (Figure 6 montre un accès textuel basé sur les métadonnées ; Figure 7 montre une visualisation graphique des métadonnées d'un segment thématique pour l'utilisateur).
3. De la Ré-ingénierie Documentaire au Visual Storytelling
Un quatrième sens important est la visualisation non pas seulement des métadonnées, mais des données textuelles (audiovisuelles) elles-mêmes, en modifiant leur "habillage" original. C'est la ré-ingénierie documentaire, le "document repurposing" : créer de nouveaux textes ou productions à partir de données préexistantes (ex: suite logicielle Scenari).
Cette ré-ingénierie s'accompagne souvent de changements dans le contenu via des techniques comme le montage ou le remix. L'article donne l'exemple de vidéos sur les réseaux sociaux remixant des segments pour construire de nouveaux récits, parfois polémiques.
Cette pratique, bien qu'ancienne (rhétorique), dispose aujourd'hui de connaissances et d'outils permettant d'expérimenter à plus grande échelle. Le visual storytelling (ou visual data storytelling) est un exemple : utiliser un corpus d'images/vidéos pour faire découvrir un domaine. Cela nécessite :
- Un modèle conceptuel du domaine.
- Un corpus de contenu approprié (segments vidéo, etc.).
- Un scénario narratif (souvent un graphe d'étapes et de chemins).
- Un modèle de visualisation (widgets sémantiques définis dans une ontologie de narration).
Ces applications "auteur" permettent de réutiliser les données, de les "faire parler" selon de nouveaux récits. Elles peuvent être figées (une nouvelle œuvre) ou ouvertes/personnalisables (répondant aux nouvelles pratiques de lecture numérique comme les agrégateurs sémantiques, les infographies interactives, etc.).
La vision finale est celle de fonds de données d'archives qui se comportent comme des "acteurs" ou des "objets enchantés" (enchanted objects), conscients de leur structure sémantique et capables d'interagir avec les utilisateurs ou d'autres données pour générer de nouveaux récits et environnements signifiants. Cela s'inscrit dans une perspective d'ingénierie sémiotique appliquée et d'une "économie du sens" émergente, où les textes sont à la fois ressources cognitives et agents capables de s'organiser en "sociétés artificielles".