Построение 3D-модели объекта по набору его изображений при помощи нейронной сети на базе алгоритма NERF
Автор: Дряба А.Ю.
Журнал: Математическая физика и компьютерное моделирование @mpcm-jvolsu
Рубрика: Моделирование, информатика и управление
Статья в выпуске: 4 т.26, 2023 года.
Бесплатный доступ
В работе представлены способы реконструирования трехмерных моделей объектов по набору плоских изображений с использованием алгоритма NeRF для получения представления объемной сцены в виде весов многослойного перцептрона. Для каждого способа прилагается оценка затрачиваемого времени. Исходя из полученных данных можно сделать вывод о возможности распознавания форм объектов из естественной обстановки в пределах 5-10 минут, при условии переноса шага обучения нейронной сети на сторону сервера.
3d-реконструкция, алгоритм nerf, карта глубин, многослойный перцептрон, объемный рендеринг
Короткий адрес: https://sciup.org/149145139
IDR: 149145139 | DOI: 10.15688/mpcm.jvolsu.2023.4.3
Список литературы Построение 3D-модели объекта по набору его изображений при помощи нейронной сети на базе алгоритма NERF
- Гадасин, Д. В. Трехмерная реконструкция объекта по одному изображению с использованием глубоких сверточных нейронных сетей / Д. В. Гадасин, А. В. Шведов, И. А. Кузин // T-Comm: телекоммуникации и транспорт. — 2022. — Т. 16, № 7. — C. 29–34. — DOI: http://dx.doi.org/10.36724/2072-8735-2022-16-7-29-35
- Камеры глубины — тихая революция (когда роботы будут видеть). Ч. 1. — Электрон. текстовые дан. — Режим доступа: https://habr.com/ru/articles/457524. — Загл. С экрана.
- Клячин, А. А. Алгоритм восстановления поверхности объекта по его изображению / А. А. Клячин, В. А. Клячин // Математическая физика и компьютерное моделирование. — 2021. — Т. 24, № 1. — C. 16–24. — DOI: https://doi.org/10.15688/mpcm.jvolsu.2021.1.2
- Клячин, А. А. Теоремы существования и единственности решения обратных задач проективной геометрии для 3D реконструкции по фотоснимкам / А. А. Клячин, В. А. Клячин // Чебышевский сборник. — 2020. — Т. 21, № 4. — C. 117–128. — DOI: https://doi.org/10.22405/2226-8383-2020-21-4-117-128
- Клячин, В. А. Алгоритм 3D реконструкции поверхности вращения по ее проекции / В. А. Клячин, Е. Г. Григорьева // Сибирский журнал индустриальной математики. — 2020. — Т. 23, № 1. — C. 84–92. — DOI: https://doi.org/10.33048/SIBJIM.2020.23.108
- Клячин, В. А. Теоремы единственности восстановления прообраза при вырожденном преобразовании / В. А. Клячин, Е. Г. Григорьева // Математическая физика и компьютерное моделирование. — 2022. — Т. 25, № 2. — C. 17–22. — DOI: https://doi.org/10.15688/mpcm.jvolsu.2022.2.2
- Реализация архитектуры Tiny NeRF. — Электрон. текстовые дан. — Режим доступа: https://github.com/bmild/nerf/blob/master/tiny_nerf.ipynb. — Загл. с экрана.
- Few-Shot Single-View 3D Reconstruction with Memory Prior Contrastive Network / Z. Xing, Y. J. Chen, Z. X. Ling, X. D. Zhou, Y. Xiang // ECCV 2022: Computer Vision — ECCV 2022. — 2022. — № 1. — P. 55–70. — DOI: https://doi.org/10.1007/978-3-031-19769-7_4
- Jackson, A. S. Learning Deep Architectures for AI / A. S. Jackson // Foundations. — 2009. — № 2. — P. 1–55. — DOI: http://dx.doi.org/10.1561/2200000006
- Large Pose 3D Face Reconstruction from a Single Image Via Direct Volumetric CNN Regression / A. S. Jackson, A. Bulat, V. Argyriou, G. Tzimiropoulos // 2017 IEEE International Conference on Computer Vision (ICCV). — 2017. — P. 1031–1039. — DOI: http://dx.doi.org/10.1109/ICCV.2017.117
- Multilayer Perceptron Explained with a Real-Life Example and Python Code: Sentiment Analysis. — Electronic text data. — Mode of access: https://towardsdatascience.com/multilayerperceptron-explained-with-a-real-life-example-and-python-code-sentiment-analysiscb408ee93141. — Title from screen.
- NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis / B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, R. Ng // Computer Vision − ECCV 2020. — 2020. — № 12346. — P. 405–421. — DOI: https://doi.org/10.1007/978-3-030-58452-8_24
- Neural 3D Reconstruction in the Wild / J. M. Sun, X. Chen, Q. Q. Wang, Z. Q. Li, H. Averbuch-Elor, X. W. Zhou, N. Snavely // ACM SIGGRAPH 2022 Conference Proceedings. — NY: Association for Computing Machinery, 2022. — P. 1–9. — DOI: https://doi.org/10.1145/3528233.3530718
- RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation / T. Anciukevicius, Z. X. Xu, M. Fisher, P. Henderson, H. Bilen, N. J. Mitra, P. Guerrero // CVPR 2023: IEEE Conference on Computer Vision and Pattern Recognition. — 2023. — P. 12608–12618. — DOI: https://doi.org/10.1109/CVPR52729.2023.01213
Статья научная
