Декомпозиция операций пересечения и соединения на основе доменно-интервальной фрагментации колоночных индексов
Автор: Иванова Елена Владимировна, Соколинский Леонид Борисович
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 1 т.4, 2015 года.
Бесплатный доступ
Статья посвящена вопросам декомпозиции реляционных операций путем использования распределенных колоночных индексов с доменно-интервальной фрагментацией. Такая декомпозиция позволяет организовать параллельное выполнение ресурсоемких реляционных операций без обменов данными между процессорными ядрами. Все фрагменты колоночного индекса хранятся в оперативной памяти в сжатом виде. При параллельном выполнении реляционной операции упакованные фрагменты индексов входных отношений загружаются на различные процессорные ядра, где происходят их распаковка, выполнение реляционной операции над фрагментами и упаковка частичного результата, представляющего собой наборы ключей. За-тем частичные результаты объединяются в результирующий набор ключей, с использованием которого СУБД собирает результирующее отношение. Указанный подход позволяет организовать эффективное параллельное выполнение запросов к сверхбольшим базам данных на современных кластерных вычислительных системах, оснащенных многоядерными ускорителями.
Сверхбольшие базы данных, параллельная обработка запросов, колоночные индексы, доменно-интервальная фрагментация, декомпозиция реляционных операций
Короткий адрес: https://sciup.org/147160554
IDR: 147160554 | УДК: 004.657 | DOI: 10.14529/cmse150104
Decomposition of intersection and join operations based on the domain-interval fragmented column indices
The paper presents decomposition of relational operations based on distributed column indices and domain-interval fragmentation. This decomposition admits parallel executing the resource-in-tensive relational operations without data transfers. All column index fragments are stored in main memory in compressed form to conserve space. During the parallel execution of relational operations, compressed index fragments are loaded on different processor cores. These cores uncompress fragments, perform relational operations and compress fragments of partial result, which is a set of keys. Partial results are merged in the resulting set of keys. DBMS use the resulting set of keys for building the resulting table. Described approach allows efficient parallel query processing for very large databases on modern computing cluster systems with many-core accelerators.
Список литературы Декомпозиция операций пересечения и соединения на основе доменно-интервальной фрагментации колоночных индексов
- Turner, V. The Digital Universe of Opportunities: Rich Data and the creasing Value of the Internet of Things. -White paper. -International Data Corporation. -2014./V. Turner, J.F. Gantz, D. Reinsel, et al. URL: http://idcdocserv.com/1678 (дата обращения: 29.01.2015)
- Соколинский, Л.Б. Параллельные машины баз данных/Л.Б. Соколинский//Природа. -2001. -№ 8. -С. 10-17.
- Соколинский, Л.Б. Параллельные системы баз данных/Л.Б. Соколинский -Москва: Издательство Московского государственного университета, 2013. -184 с.
- Sokolinsky, L.B. Design and Evaluation of Database Multiprocessor Architecture with High Data Availability/L.B. Sokolinsky//Proceedings of the 12th International workshop on database and expert systems applications. -IEEE Computer Society, 2001. -P. 115-120.
- Pan, C.S. Taming Elephants, or How to Embed Parallelism into PostgreSQL/C.S. Pan, M.L. Zymbler//Lecture Notes in Computer Science. -2013. -Vol. 8055, Part 1. -P. 153-164.
- Костенецкий, П.С. Моделирование иерархических многопроцессорных систем баз данных/П.С. Костенецкий, Л.Б. Соколинский//Программирование. -2013. -Т. 39, № 1. -С. 3-22.
- Plattner, H. In-Memory Data Management: An Inflection Point for Enterprise Applications/H. Plattner, A. Zeier -Springer, 2011. -254 p.
- Abadi, D.J. Column-Stores vs. Row-Stores: How Different Are They Really?/D.J. Abadi, S.R. Madden, N. Hachem//Proceedings of the 2008 ACM SIGMOD international conference on Management of data, June 9-12, 2008, Vancouver, BC, Canada. -ACM, 2008. -P. 967-980.
- Fang, J. Sesame: A User-Transparent Optimizing Framework for Many-Core Processors/J. Fang, A.L. Varbanescu, H. Sips//Proceedings of the 13th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid2013), May 13-16, 2013, Delft, Netherlands. -IEEE, 2013. -P. 70-73.
- Breß, S. Efficient Co-Processor Utilization in Database Query Processing/S. Breß, F. Beier, H. Rauhe, et al.//Information Systems. -2013. -Vol. 38, No. 8. -P. 1084-1096.
- Scherger, M. Design of an In-Memory Database Engine Using Intel Xeon Phi Coprocessors/M. Scherger//Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA'14), July 21-24, 2014, Las Vegas, USA. -CSREA Press, 2014. -P. 21-27.
- Беседин, К.Ю. Моделирование обработки запросов на гибридных вычислительных системах с многоядерными сопроцессорами и графическими ускорителями/К.Ю. Беседин, П.С. Костенецкий//Программные системы: теория и приложения. -2014. -Т. 5, № 1-1 (19). -С. 91-110.
- Иванова, Е.В. Использование распределенных колоночных индексов для выполнения запросов к сверхбольшим базам данных/Е.В. Иванова, Л.Б. Соколинский//Параллельные вычислительные технологии (ПАВТ'2014). Труды международной научной конференции. -Челябинск: Издательский центр ЮУрГУ, 2014. -С. 270-275.
- Иванова, Е.В. Использование распределенных колоночных хеш-индексов для обработки запросов к сверхбольшим базам данных/Е.В. Иванова//Научный сервис в сети Интернет: многообразие суперкомпьютерных миров. Труды Международной суперкомпьютерной конференции. -М.: Изд-во МГУ, 2014. -С. 102-104.
- Гарсиа-Молина, Г. Системы баз данных. Полный курс./Г. Гарсиа-Молина, Дж. Ульман, Дж. Уидом -М.: Издательский дом «Вильямс». -2004. -1088 с.
