AudioRWKV: Efficient Audio Modeling
- AudioRWKV is a deep audio modeling architecture that adapts RWKV for 2D spectrogram input with bidirectional recurrent mechanisms.
- It replaces the 1D token shift with a 2D depthwise separable convolution to capture local spectro-temporal patterns while maintaining linear complexity.
- The design balances global context with efficiency, outperforming other models on benchmarks like AudioSet, VGGSound, and ESC-50.
88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88) OR ti:\888 88^ 88 88 OR ti:\888 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88) OR ti:\888 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88^ 88 88 88 88 88 88 88 88^ 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 OR ti:\888 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88^ 88 88^ 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 OR ti:\888 OR ti:\888 88 88 88 88 88 88 88 88 88 88^ 88 OR ti:\888 88^ 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88^ 88 88 88 88 88 88 88^ 88 OR ti:\888 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 OR ti:\888 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88max_results OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88max_results 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88max_results 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 OR ti:\888 88 88 OR ti:\888 OR ti:\888 88 88 88 88 88max_results OR ti:\888 88 88 88 OR ti:\888 88 88 88 OR ti:\888 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 OR ti:\888 88 88 88 88 OR ti:\888 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88max_results 88 88 88 88 88max_results OR ti:\888 88 88 88 88max_results OR ti:\888 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^( 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88) OR ti:\888 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88^ 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88 88