Open-set Cross Modal Generalization
- OSCMG is a paradigm in multimodal learning that transfers competencies to unseen modalities, addressing gaps due to incomplete training data.
- It leverages techniques such as domain generalization, discrete index-level alignment, and self-supervised pretext tasks to improve classification, retrieval, and grounding.
- Challenges include overfitting, feature misalignment, and limited zero-shot extension, highlighting the need for flexible adaptation and robust benchmarking.
11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11^ 11 11zero-data 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11bridge 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11bridge 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11^ 11^ 11^ 11^ 11 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11 11 11^( 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11 11^ 11^ 11^ 11^ 11 11 11 11 11^ 11^ 11^ 11^ 11^ 11 11zero-data 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11 11 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11^ 11^ 11^ 11^ 11^ 11 11 11 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11zero-data 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11^ 11 11 11 11 11^ 11^ 11^ 11^ 11^ 11 11bridge 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11^ 11 11 11 11^ 11^ 11^ 11 11 11 11 11^ 11^ 11^ 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11^ 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11bridge 11 11^ 11 11 11 11 11 11 11 11bridge 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11^ 11 11 11 11 11 11zero-data 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11^ 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11^ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11^ 11 11 11 11 11 11 11^( 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11