О применении причинно-следственных моделей в тестировании систем машинного обучения
Автор: Якушева С.Ф., Хританков А.С.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 2 (62) т.16, 2024 года.
Бесплатный доступ
Верификация систем машинного обучения - это сложная задача, предполагающая анализ взаимозависимостей между частями системы. Для тестирования таких систем представляется перспективным применение метода тестирования инвариантами (метаморфное тестирование, metamorphic testing). В данной работе предлагается использовать причинно-следственные модели для анализа причин невыполнения тестовых инвариантов (метаморфных соотношений, metamorphic relations), заданных для исследуемой системы машинного обучения. В результате расчета оценок влияния, рассчитанных на основе модели, могут быть определены компоненты, оказывающие наибольшее влияние на нарушения тестовых инвариантов. Приоритетное исправление ошибок в этих компонентах помогает уменьшить степень нарушения инвариантов. Применимость и полезность метода показана на примере многокомпонентной системы искусственного интеллекта для создания персонализированных стикеров.
Тестирование инвариантами, причинно-следственные модели, тестирование сложных систем
Короткий адрес: https://sciup.org/142242594
IDR: 142242594
Список литературы О применении причинно-следственных моделей в тестировании систем машинного обучения
- Chen T.Y., Kuo F.-C., Liu H., Poon P.-L., Towey D., Tse Т.Н., Zhou Z.Q. Metamorphic Testing: A Review of Challenges and Opportunities // New York: Association for Computing Machinery. 2018. V. 51, N 1.
- Zhang J., Zheng Z., Yin В., Qiu K., Liu Y. Testing graph searching based path planning algorithms by metamorphic testing // 2019 IEEE 24th Pacific Rim International Symposium on Dependable Computing (PRDC) 2019. P. 158-15809.
- Pullum L.L., Ozmen O. Early results from metamorphic testing of epidemiological models // 2012 ASE/IEEE International Conference on BioMedical Computing (BioMedCom) 2012. P. 62-67.
- Xie X., Zhang Z., Chen T.Y., Liu Y, Poon P.-L., Xu B. METTLE: a METamorphic testing approach to assessing and validating unsupervised machine LEarning systems // IEEE Transactions on Reliability. 2020. V. 69, N 4. P. 1293-1322.
- Jia M., Wang X., Xu Y., Cut Z., Xie R. Testing machine learning classifiers based on compositional metamorphic relations // International Journal of Performabilitv Engineering. 2020. V. 16, N 1. P. 67.
- Luo G., Zheng X., Liu H., Xu R., Nagumothu D., Janapareddi R., Zhuang E., Liu X. Verification of microservices using metamorphic testing // Algorithms and Architectures for Parallel Processing: 19th International Conference, ICA3PP 2019, Melbourne, VIC, Australia, December 9-11, 2019, Proceedings, Part I 19. 2020. P. 138-152.
- Iqbal M. Metamorphic Testing of Advanced Driver-Assistance Systems: Implementing Euro NCAP Standards on OpenStreetMap // 2023 IEEE/ACM 8th International Workshop on Metamorphic Testing (MET). 2023. P. 1-8.
- Gao W., He J., Pharn V.-T. Metamorphic Testing of Machine Translation Models using Back Translation // 2023 IEEE/ACM International Workshop on Deep Learning for Testing and Testing for Deep Learning (DeepTest). 2023. P. 1-8.
- Troup М., Yang A., Kamali А.Н., Giannoulatou Е., Chen Т. Y., Но J. W.K. A Cloud-Based Framework for Applying Metamorphic Testing to a Bioinformatics Pipeline // Proceedings of the 1st International Workshop on Metamorphic Testing. 2016. P. 33-36.
- Iakusheva S., Khritankov A. Composite metamorphic relations for integration testing // Proceedings of the 2022 8th International Conference on Computer Technology Applications. 2022. P. 98-105.
- Strumbelj E., Kononenko I. An efficient explanation of individual classifications using game theory // Journal of Machine Learning Research. 2010. V. 11. P. 1 1.
- Iakusheva S., Khritankov A. Metamorphic Testing for Recommender Systems // Analysis of Images, Social Networks and Texts. AIST 2023. Lecture Notes in Computer Science / ed. D.I. Ignatov et al. Springer, Cham, 2024. V. 14486. P.281-293.
- Wright S. Correlation and causation // Journal of Agricultural Research. 1921. V. 20. P. 557-585.
- Pearl J. [et al.}. Causality. Models, reasoning and inference. Cambridge, UK: Cambridge University Press, 2000.
- Marcot B.C., Penman T.D. Advances in Bavesian network modelling: Integration of modelling technologies // Environmental modelling k, software. 2019. V. 111. P. 386-393.
- Горбачёпок Д.И. Исследование методов машинного обучения для создания персонализированных стикеров. ВКР бакалавра. Москва: НИУ ВШЭ, 2023.
- Якушева С.Ф., Хританков А.С., Горба,чёпок Д.И. Тестирование инвариантами в применении к генеративным системам искусственного интеллекта // Системная информатика. 2023. № 22. С. 37-44.
- Khritankov A., Pershin N., Ukhov N., Ukhov A. MLDev: Data Science Experiment Automation and Reproducibility Software // International Conference on Data Analytics and Management in Data Intensive Domains. 2021. P. 3-18.
