Исследование влияния метода сравнения каналов на эффективность алгоритмов поканального прореживания сверточных нейронных сетей
Боковая панель статьи
Основное содержимое статьи
Аннотация
Работа посвящена решению задачи прореживания нейронной сети, целью которой является уменьшение количества параметров сети при сохранении высокой точности ее работы на тестовой выборке. Проводится обзор существующих методов прореживания, которые принадлежат к разным группам подходов в зависимости от их свойств, таких как зависимость от входных данных и необходимость рассмотрения каналов сети в совокупности. Для решения поставленной задачи предлагаются подходы к сравнению каналов сети, на основе результатов которого происходит выбор удаляемых параметров. Подходы основаны на выборе эффективной метрики оценки близости каналов и кластеризации каналов. Описываются методы прореживания с использованием предложенных подходов. Рассматриваются детали программной реализации методов. Приводятся результаты экспериментального исследования эффективности предложенных методов.
Скачивания
Информация о статье
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
Pruning and quantization for deep neural network acceleration: A survey / T. Liang, J. Glossner, L. Wang [et al.] // Neurocomputing. – 2021. – Vol. 461. – Pp. 370–403. – DOI: https://doi.org/10.1016/J.NEUCOM.2021.07.045.
Sparsity in deep learning: Pruning and growth for efficient inference and training in neural networks / T. Hoefler, D. Alistarh, T. Ben-Nun [et al.] // Journal of Machine Learning Research. – 2021. – Vol. 22. – №. 241. – Pp. 1-124.
Pruning filters for efficient convnets / H. Li, A. Kadav, I. Durdanovic [et al.] // arXive.org e-Print archive. – 2016. – arXiv:1608.08710.
Recovering from random pruning: On the plasticity of deep convolutional neural networks / D. Mittal, S. Bhardwaj, M. M. Khapra, B. Ravindran // 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). – IEEE, 2018. – Pp. 848-857.
LeCun Y., Denker J., Solla S. Optimal brain damage // Advances in neural information processing systems. – 1989. – Vol. 2. – Pp. 598-605.
He Y., Zhang X., Sun J. Channel pruning for accelerating very deep neural networks // Proceedings of the IEEE international conference on computer vision. – 2017. – Pp. 1389-1397.
Luo J. H., Wu J., Lin W. Thinet: A filter level pruning method for deep neural network compression // Proceedings of the IEEE international conference on computer vision. – 2017. – Pp. 5058-5066.
Good subnetworks provably exist: Pruning via greedy forward selection / M. Ye, C. Gong, L. Nie [et al.] // International Conference on Machine Learning. – PMLR, 2020. – Pp. 10820-10830.
Approximated oracle filter pruning for destructive cnn width optimization / X. Ding, G. Ding, Y. Guo [et al.] //International Conference on Machine Learning. – PMLR, 2019. – Pp. 1607-1616.
Chip: Channel independence-based pruning for compact neural networks / Y. Sui, M. Yin, Y. Xie [et al.] // Advances in Neural Information Processing Systems. – 2021. – Vol. 34. – Pp. 24604-24616.
Leveraging filter correlations for deep model compression / P. Singh, V. K. Verma, P. Rai, V. P. Namboodiri // Proceedings of the IEEE/CVF Winter Conference on applications of computer vision. – 2020. – Pp. 835-844.
Comprehensive survey on hierarchical clustering algorithms and the recent developments / X. Ran, Y. Xi, Y. Lu [et al.] // Artificial Intelligence Review. – 2023. – Vol. 56. – №. 8. – Pp. 8219-8264.