Synthetic Dataset Quality Metric (SDQM)
- Synthetic Dataset Quality Metric (SDQM) is a quantitative framework that assesses synthetic data by comparing its resemblance to real data across fidelity, privacy, and predictive performance dimensions.
- It incorporates multiple formulations—including Synthetic Ranking Agreement, holdout-based assessments, and task-specific scores—to provide a tailored evaluation for various applications.
- The framework emphasizes challenges such as metric standardization, algorithm dependency, and the trade-off between utility and privacy, prompting context-sensitive evaluation approaches.
2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121^ 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121^( 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( OR id:(Jordon et al., 2018) OR ti:\212121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 21211 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^ 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121^( 2121 OR id:(Jordon et al., 2018) OR ti:\212121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121 2121