S4D-SEP: MÔ HÌNH KHÔNG GIAN TRẠNG THÁI ĐƯỜNG CHÉO CHO BÀI TOÁN TÁCH VÀ TĂNG CƯỜNG TIẾNG NÓI ĐƠN KÊNH KẾT HỢP
Từ khóa
DOI:
https://doi.org/10.34238/tnu-jst.16224Tóm tắt
Bài toán tách và tăng cường tín hiệu lời nói đơn kênh trong môi trường nhiễu-vang vẫn là một thách thức cốt lõi đối với các thiết bị biên hạn chế tài nguyên, do các kiến trúc hiện tại phải đánh đổi hiệu suất lấy năng lực mô hình hóa thời gian. Bài báo này đề xuất S4D-Sep, một kiến trúc mã hóa–tách–giải mã thay thế mạng chập thời gian giãn đoạn bằng các lớp không gian trạng thái đường chéo (S4D). Bộ phân tách được đề xuất sử dụng bốn lớp S4D với chiều ẩn là 64 và kích thước trạng thái là 16, tổng cộng chỉ chiếm 0,1507 triệu tham số - giảm 66% so với mô hình cơ sở kiểu Conv-TasNet tương đương (0,4465 M). Trên một tập kiểm thử tổng hợp hai người nói có nhiễu cộng (SNR 0-15 dB) và độ vang (T60 0,2-0,6 s), S4D-Sep đạt chỉ số SI-SNRi là 0,4006 dB so với 0,4794 dB của mô hình cơ sở - mức chênh lệch là 0,079 dB, thấp hơn ngưỡng khác biệt vừa đủ nhận biết về mặt cảm giác (JND ≈ 0,5 dB). Tỷ số hiệu năng trên mỗi tham số được cải thiện gấp 2,5 lần (2,658 dB/M so với 1,074 dB/M). Đây là bằng chứng bước đầu cho thấy các mô hình không gian trạng thái đường chéo có thể nắm bắt các phụ thuộc thời gian dài hiệu quả hơn về mặt tham số so với các phép chập giãn đoạn.Lượt tải
Tài liệu tham khảo
M. Pariente, S. Cornell, J. Cosentino, S. Sivasankaran, E. Tzinis, J. Heitkaemper, M. Olvera, F.-R. Stöter, M. Hu, J. M. Martín-Doñas, D. Ditter, A. Frank, A. Deleforge, and E. Vincent, "Asteroid: the PyTorch-based audio source separation toolkit for researchers," in Processing Interspeech 2020, 2020, pp. 2637-2641, doi: 10.21437/Interspeech.2020-1673.
S. Zhao and B. Ma, "MossFormer: Pushing the performance limit of monaural speech separation using gated single-head transformer," 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2023, doi: 10.1109/ICASSP49357.2023.10096646.
J. Lin, W. M. Chen, Y. Lin, C. Gan, and S. Han, "MCUNet: Tiny deep learning on IoT devices," Advances in Neural Information Processing Systems, vol. 33, pp. 11711-11722, 2020.
A. Gu, K. Goel, and C. Ré, "Efficiently modeling long sequences with structured state spaces," arXiv preprint arXiv:2111.00396, 2022, doi: 10.48550/arXiv.2111.00396.
A. Gu, A. Gupta, K. Goel, and C. Ré, "On the parameterization and initialization of diagonal state space models," Advances in Neural Information Processing Systems, vol. 35, pp. 35971-35983, 2022.
K. Goel, A. Gu, C. Donahue, and C. Ré, "It's raw! Audio generation with state-space models," International Conference on Machine Learning, 2022, pp. 7616-7633.
A. Gu and T. Dao, "Mamba: Linear-time sequence modeling with selective state spaces," arXiv preprint arXiv:2312.00752, 2023, doi: 10.48550/arXiv.2312.00752.
C. Chen, C.-H. H. Yang, K. Li, Y. Hu, P.-J. Ku, and E. S. Chng, "A neural state-space model approach to efficient speech separation," in Proceedings Interspeech, 2023, doi: 10.21437/Interspeech.2023-549.
X. Jiang, C. Han, and N. Mesgarani, "Dual-path Mamba: Short and long-term bidirectional selective structured state space models for speech separation," 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2025, doi: 10.1109/ICASSP49660.2025.10888514.
K. Li, G. Chen, R. Yang, and X. Hu, "SPMamba: State-space model is all you need in speech separation," arXiv preprint arXiv:2404.02063, 2024, doi: 10.48550/arXiv.2404.02063.
N. L. Kühne, J. Jensen, J. Østergaard, and Z.-H. Tan, "MambAttention: Mamba with multi-head attention for generalizable single-channel speech enhancement," IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2025, doi: 10.1109/TASLPRO.2026.3656023.
J. Neri and S. Braun, "Towards real-time single-channel speech separation in noisy and reverberant environments," in Processing IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2023, doi: 10.1109/ICASSP49357.2023.10096131.
P.-J. Ku, C.-H. H. Yang, S. M. Siniscalchi, and C.-H. Lee, "A multi-dimensional deep structured state space approach to speech enhancement using small-footprint models," in Processing Interspeech, 2023, pp. 2453-2457, doi: 10.21437/Interspeech.2023-1084.
M. Maciejewski, G. Wichern, E. McQuinn, and J. Le Roux, "WHAMR!: Noisy and reverberant single-channel speech separation," in Processing IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 696-700.
Y. Luo and N. Mesgarani, "Conv-TasNet: Surpassing ideal time-frequency magnitude masking for speech separation," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 8, pp. 1256-1266, 2019.
A. Gu, T. Dao, S. Ermon, A. Rudra, and C. Ré, "HiPPO: Recurrent memory with optimal polynomial projections," Advances in Neural Information Processing Systems, vol. 33, pp. 1474-1487, 2020.
Y. Hu, Y. Liu, S. Lv, M. Xing, S. Zhang, Y. Fu, J. Wu, B. Zhang, and L. Xie, "DCCRN: Deep complex convolution recurrent network for phase-aware speech enhancement," in Proc. Interspeech 2020, 2020, pp. 2472-2476, doi: 10.21437/Interspeech.2020-2537.
Z.-Q. Wang, P. Wang, and D. Wang, "Complex spectral mapping for single- and multi-channel speech enhancement," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 28, pp. 1778-1787, 2020.
C. Quan and X. Li, "SpatialNet: Extensively learning spatial information for multichannel joint speech separation, denoising and dereverberation," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 32, pp. 1310-1323, 2024.
Y. Luo, Z. Chen, and T. Yoshioka, "Dual-path RNN: Efficient long sequence modeling for time-domain single-channel speech separation," in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 46-50.
H. Sato, T. Moriya, M. Mimura, S. Horiguchi, T. Ochiai, T. Ashihara, A. Ando, K. Shinayama, and M. Delcroix, "SpeakerBeam-SS: Real-time target speaker extraction with lightweight Conv-TasNet and state space modeling," in Processing Interspeech 2024, 2024, pp. 5033-5037, doi: 10.21437/Interspeech.2024-413.
J. S. Garofolo, L. F. Lamel, W. M. Fisher, J. G. Fiscus, D. S. Pallett, N. L. Dahlgren, and V. Zue, "TIMIT Acoustic-Phonetic Continuous Speech Corpus LDC93S1," Linguistic Data Consortium, Philadelphia, PA, 1993, doi: 10.35111/17gk-bn40.
