Проблемы проведения экспериментов и воспроизводимости исследований в науках о данных

Проблемы проведения экспериментов и воспроизводимости исследований в науках о данных

Автор: Воронцов К.В., Игловиков В.И., Стрижов В.В., Устюжанин А.Е., Хританков А.С.

Журнал: Труды Московского физико-технического института @trudy-mipt

Рубрика: Информатика и управление

Статья в выпуске: 2 (50) т.13, 2021 года.

Бесплатный доступ

Приводится тезисное изложение результатов круглого стола по проблемам проведения экспериментов и воспроизводимости исследований в науках о данных. Указывается на различие форматов результатов научных и прикладных исследований, поясняется, в чем суть воспроизводимости результатов. Рассматриваются критерии качества результатов обоих видов исследований, в чем суть воспроизводимости результатов в каждом случае. Определяются направления дальнейшего развития методологии разработки предсказательных моделей, разработки алгоритмов и проведения экспериментов. Сформулированные рекомендации полезны для развития программ учебных курсов по машинному обучению.

Еще

Воспроизводимость исследований, повторяемость экспериментов, науки о данных, машинное обучение, круглый стол

Короткий адрес: https://sciup.org/142231481

IDR: 142231481   |   DOI: 10.53815/20726759_2021_13_2_100

Список литературы Проблемы проведения экспериментов и воспроизводимости исследований в науках о данных

  • Gundersen O.E., Gil Y., Aha D.W. On reproducible AI: Towards reproducible research, open science, and digital scholarship in AI publications //AI magazine. 2018. V. 39.3. P. 56-68.
  • Pineau J., Vincent-Lamarre P., Sinha K., Lariviere V., Beygelzimer A., d'Alche-Buc F., ... & Larochelle H. Improving reproducibility in machine learning research (a report from the neurips 2019 reproducibility program) // arXiv preprint. 2018. [Электронный ресурс] URL: https://arxiv.org/abs/2003.12206 (дата обращения: 20.03.2021).
  • Hutson M. Artificial intelligence faces reproducibility crisis // Science. 2018. V. 359(6377). P. 725-726.
  • Baker, M., Penny, D. Is there a reproducibility crisis? // Nature. 2016. V. 533(7604). P. 452-454.
  • Pineau J., Sinha K., Fried G., Ke R.N., Larochelle H. ICLR Reproducibility Challenge 2019 11 ReScience C. 2020. V. 5(2). P. 5.
  • Stodden V. The legal framework for reproducible scientific research: Licensing and copyright // Computing in Science k, Engineering. 2008. V. 11(1). P. 35-40.
  • Claerbout J.F., Karrenbach M. Electronic documents give reproducible research a new meaning / Society of Exploration Geophvsicists // SEG Technical Program Expanded Abstracts. 1992. P. 601-604.
  • LeVeque R.J., Mitchell I.M., Stodden V. Reproducible research for scientific computing: Tools and strategies for changing the culture // Computing in Science k, Engineering. 2012. V. 14(4). P. 13-17.
  • Barr R.S., Golden B.L., Kelly J.P., Resende M.G., Stewart W.R. Designing and reporting on computational experiments with heuristic methods // Journal of heuristics. 1995. V. 1(1). P. 9-32.
  • ACM Artifact Review and Badging [Электронный ресурс], URL: https://www.acm.org/publications/policies/artifact-review-and-badging-current (дата обращения: 20.03.2021).
  • Ferro N., Kelly D. SIGIR initiative to implement ACM artifact review and badging // ACM SIGIR Forum. New York, NY, USA : ACM. V. 52, N 1. P. 4-10.
  • CLEF/NTCIR/TREC REproducibilitv (CENTRE) [Электронный ресурс], URL: https://www.centre-eval.org/ (дата обращения: 20.03.2021).
  • Tech Trends 2021 // Deloitte Insigts. 2020 [Электронный ресурс], URL: https://www2.deloitte.com/us/en/insights/focus/tech-trends.html (дата обращения: 20.03.2021).
  • Ким Г., Вер К., Спаффорд К. Проект «Феникс»: Роман о том, как DevOps меняет бизнес к лучшему. Москва : Эксмо, 2014. 384 с.
  • A curated list of awesome MLOps tools [Электронный ресурс], URL: https://github.com/kelvins/awesome-mlops (дата обращения: 20.03.2021).
  • MLdev experiment automation software [Электронный ресурс], URL: https://gitlab.com/mlrep/mldev (дата обращения: 20.03.2021).
  • Machine Learning Operations [Электронный ресурс], URL: https://github.com/pyseany/awesome-machine-learning-operations (дата обращения: 20.03.2021).
  • Kerr N.L. HARKing: Hypothesizing after the results are known // Personality and social psychology review. 1998' V. 2(3). P. 196-217.
  • Hollenbeck J.R., Wright P.M. Harking, sharking, and tharking: Making the case for post hoc analysis of scientific data // Journal of Management. 2016. V. 4, I. 1. P. 5-18.
  • How to win a kaggle competition [Электронный ресурс], URL: https://www.import.io/post/how-to-win-a-kaggle-competition/ (дата обращения: 20.03.2021).
  • Wirth R., Hipp J. CRISP-DM: Towards a standard process model for data mining // Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining. London, UK : Springer-Verlag. 2000. Т. 1.
  • Huber S. [et al.\. DMME: Data mining methodology for engineering applications-a holistic extension to the CRISP-DM model 11 Procedia Cirp. 2019. V. 79. P. 403-408.
  • Shafique U., Qaiser H. A comparative study of data mining process models (KDD, CRISP-DM and SEMMA) // International Journal of Innovation and Scientific Research. 2014. V. 12., N 1. P. 217-222.
  • Papers with Code [Электронный ресурс], URL: https://paperswithcode.com (дата обращения: 20.03.2021).
  • Di Tommaso P., Chatzou M., Floden E. W., Barja P.P., Palumbo E., Notredame C. Nextflow enables reproducible computational workflow // Nature biotechnology. 2017. V. 35(4). P. 316-319.
  • Система YT [Электронный ресурс], URL: https: //habr. com/ru/company/yandex/blog/ 311104/ (дата обращения: 20.03.2021).
  • Sberbank Huge Data Platform [Электронный ресурс], URL: https://www.tadviser.ru/index.php/Пpoeкт:Cбepбaнк_(нoвaя_тexнoлoгичecкaя_плaт-4>opMa)https://www.tadviser.ru/index.php/np0eKT:C6ep6anK_(H0BaH_Texm№0rn4ecKaH ^платформа) (дата обращения: 20.03.2021).
  • Sber.DS [Электронный ресурс], URL: https://habr.com/ru/company/sberbank/blog/ 489158/ (дата обращения: 20.03.2021).
  • Brown Т.В., Mann В., Ryder N., Subbiah М., Kaplan J., Dhariwal P., ... & Amodei D. Language models are few-shot learners // arXiv preprint. 2020. [Электронный ресурс] URL: https://arxiv.org/abs/2005.14165 (дата обращения: 20.03.2021).
  • Senior A.W., Evans R., Jumper J. [et al.}. Improved protein structure prediction using potentials from deep learnin // Nature. 2020. V. 577. P. 706^710. URL: https://doi.org/10.1038/s41586-019-1923-7
  • Технологический конкурс ПРО 41T.IIIIK [Электронный ресурс], URL: https://ai.upgreat.one (дата обращения: 20.03.2021).
  • Netflix Prize [Электронный ресурс], URL: https://en.wikipedia.org/wiki/Netflix _Prize (дата обращения: 20.03.2021).
  • Учебный курс «Моя первая научная статья» [Электронный ресурс], URL: https://mlp.org (дата обращения: 20.03.2021).
  • Makinen S., Skogstrom Н., Laaksonen Е., Mikkonen Т. Who Needs MLOps: What Data Scientists Seek to Accomplish and How Can MLOps Help? // IEEE/ACM 1st Workshop on AI Engineering - Software Engineering for AI (WAIN) of 43rd International Conference on Software Engineering (ICSE). 2021.
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp