Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering

Abstract: In the past few years, there has been a dramatic growth in e-manga (electronic Japanese-style comics). Faced with the booming demand for manga research and the large amount of unlabeled manga data, we raised a new task, called unsupervised manga character re-identification. However, the artistic expression and stylistic limitations of manga pose many challenges to the re-identification problem. Inspired by the idea that some content-related features may help clustering, we propose a Face-body and Spatial-temporal Associated Clustering method (FSAC). In the face-body combination module, a face-body graph is constructed to solve problems such as exaggeration and deformation in artistic creation by using the integrity of the image. In the spatial-temporal relationship correction module, we analyze the appearance features of characters and design a temporal-spatial-related triplet loss to fine-tune the clustering. Extensive experiments on a manga book dataset with 109 volumes validate the superiority of our method in unsupervised manga character re-identification.

• The paper presents a novel unsupervised FSAC method that integrates facial-body fusion with spatial-temporal clustering to improve manga character re-identification accuracy.
• It employs a two-module approach combining a face-body graph to counter artistic deformations with a spatial-temporal triplet loss for precise clustering.
• Experiments on 109 manga volumes demonstrate the method's superior performance compared to traditional re-identification approaches.

La tarea de "Unsupervised Manga Character Re-identification" (Re-identificación No Supervisada de Personajes de Manga) a través de "Face-body and Spatial-temporal Associated Clustering" aborda un problema interesante y desafiante en el campo de la inteligencia artificial aplicada al reconocimiento de personajes en cómics japoneses.

El artículo "Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering" presenta un método novedoso conocido como FSAC (Face-body and Spatial-temporal Associated Clustering). La idea básica de este método es utilizar tanto la combinación de características de la cara y el cuerpo como las relaciones espaciales y temporales para mejorar la precisión en la identificación de personajes de manga, especialmente dado el gran volumen de datos sin etiqueta disponible en este ámbito (2204.04621).

El enfoque FSAC se compone de dos módulos principales:

1. Módulo de combinación de cara y cuerpo: Se construye un grafo que combina los rasgos faciales y corporales para mitigar problemas de exageraciones y deformaciones debido al estilo artístico. Esto usa la integridad de la imagen en su totalidad para mejorar la precisión de identificación.
2. Corrección de relaciones espaciales-temporales: Se analizan las características de apariencia de los personajes, y se diseña una pérdida de triplete relacionada con el espacio y el tiempo para afinar aún más el agrupamiento y mejorar la precisión.

Este método se probó extensamente en un conjunto de datos de mangas que comprende 109 volúmenes, demostrando su superioridad en la reidentificación no supervisada de personajes de manga.

El campo de re-identificación de personajes presenta varios retos comparables con la re-identificación de personas, un área bien investigada en la visión por computadora. Otros trabajos relevantes en re-identificación de personas incluyen diversos enfoques para mejorar la precisión en entornos no supervisados y adaptativos. Ejemplos son el uso del aprendizaje incremental y la transferencia de patrones espaciales-temporales (Fan et al., 2017, Li et al., 2017), así como el uso de representaciones de partes del cuerpo alineadas y la atención regularizada en el dominio espacial-temporal (Zhao et al., 2017, Li et al., 2018).

Estos enfoques, si bien están orientados hacia la re-identificación de personas, comparten principios fundamentales que también pueden ser aplicables a la re-identificación de personajes en mangas, tales como la necesidad de mitigar variaciones en apariencia y pose, así como la utilización de relaciones espaciales y temporales para mejorar la precisión.