Колоночный сопроцессор баз данных для кластерных вычислительных систем

Колоночный сопроцессор баз данных для кластерных вычислительных систем

Автор: Иванова Елена Владимировна, Соколинский Леонид Борисович

Журнал: Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика @vestnik-susu-cmi

Рубрика: Информатика, вычислительная техника и управление

Статья в выпуске: 4 т.4, 2015 года.

Бесплатный доступ

Статья посвящена вопросам проектирования и реализации колоночного сопроцессора баз данных для реляционных СУБД. Колоночный сопроцессор (КСОП) разработан на базе колоночной модели хранения данных и ориентирован на большие кластерные вычислительные системы. КСОП может работать как на обычных центральных процессорах, так и на сопроцессорах с архитектурой MIC. КСОП поддерживает колоночные индексы с суррогатными ключами, которые во фрагментированном виде хранятся в оперативной памяти кластерной вычислительной системы. Фрагментация осуществляется на основе доменно-интервального принципа. На запросах класса OLAP колоночный сопроцессор КСОП демонстрирует производительность, многократно превышающую производительность строчных хранилищ.

Еще

Колоночный сопроцессор, ксоп, распределенные колоночные индексы, доменно-интервальная фрагментация, кластерные вычислительные системы, многоядерные сопроцессоры, архитектура mic

Короткий адрес: https://sciup.org/147160578

IDR: 147160578   |   УДК: 004.657   |   DOI: 10.14529/cmse150401

Columnar database coprocessor for computing cluster system

The paper is devoted to the design and implementation issues of columnar coprocessor for RDBMS. Columnar coprocessor (CCOP) is developed on the base of columnar data storage model. It is designed for large computing cluster systems. CCOP can utilize CPUs as well as manycore coprocessors MIC. CCOP maintains the columnar indices with surrogate keys stored in distributed main memory. The partitioning is performed on the base of domain-interval model. For the data warehouse workload, CCOP demonstrates performance much higher than row-stores do.

Еще

Список литературы Колоночный сопроцессор баз данных для кластерных вычислительных систем

  • Чернышев, Г.А. Организация физического уровня колоночных СУБД/Г.А Чернышев//Труды СПИИРАН. -2013. -№ 7. Вып. 30. -С. 204-222.
  • Abadi, D.J. The Design and Implementation of Modern Column-Oriented Database Systems/D.J. Abadi, P.A. Boncz, S. Harizopoulos, S. Idreos, S. Madden//Foundations and Trends in Databases. -2013. -Vol. 5, No. 3. -P. 197-280. DOI: DOI: 10.1561/1900000024
  • Idreos, S. MonetDB: Two Decades of Research in Column-oriented Database Architectures/S. Idreos, F. Groffen, N. Nes, S. Manegold, S. Mullender, M.L. Kersten//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 40-45.
  • Boncz, P.A. MonetDB/X100: Hyper-pipelining query execution/P.A. Boncz, M. Zukowski, N. Nes//Proceedings of the Second Biennial Conference on Innovative Data Systems Research (CIDR), January 4-7, Asilomar, CA, USA. -2005. -P. 225-237.
  • Stonebraker, M. C-Store: A Column-Oriented DBMS/M. Stonebraker, D.J. Abadi, A. Batkin, X. Chen, M. Cherniack, M. Ferreira, E. Lau, A. Lin, S.R. Madden, E.J. O’Neil, P.E. O’Neil, A. Rasin, N. Tran, S.B. Zdonik//Proceedings of the 31st International Conference on Very Large Data Bases (VLDB'05), August 30 -September 2, 2005, Trondheim, Norway. -ACM, 2005. -P. 553-564.
  • MacNicol, R. Sybase IQ multiplex -designed for analytics/R. MacNicol, B. French//Proceedings of the Thirtieth International Conference on Very Large Data Bases, August 31-September 3, 2004, Toronto, Canada. -Morgan Kaufmann, 2004. -P. 1227-1230. DOI: DOI: 10.1016/b978-012088469-8/50111-x
  • Zukowski, M. Vectorwise: Beyond column stores/M. Zukowski, P.A. Boncz//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 21-27.
  • Lamb, A. The Vertica analytic database: C-store 7 years later/A. Lamb, M. Fuller, R. Varadarajan, N. Tran, B. Vandier, L. Doshi, C. Bear//Proceedings of the VLDB Endowment. -2012. -Vol. 5, No. 12. -P. 1790-1801. DOI: DOI: 10.14778/2367502.2367518
  • Barber, R. Business Analytics in (a) Blink/R. Barber, P. Bendel, M. Czech, O. Draese, F. Ho, N. Hrle, S. Idreos, M. S. Kim, O. Koeth, J. G. Lee, T.T. Li, G.M. Lohman, K. Morfonios, R. Müller, K. Murthy, I. Pandis, L. Qiao, V. Raman, R. Sidle, K. Stolze, S. Szabo//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 9-14.
  • Larson, P.-A. Enhancements to SQL server column stores/P.-A. Larson, C. Clinciu, C. Fraser, E.N. Hanson, M. Mokhtar, M. Nowakiewicz, V. Papadimos, S.L. Price, S. Rangarajan, R. Rusanu, M. Saubhasik//Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data (SIGMOD'13), June 22-27, 2013, New York, NY, USA. -ACM, 2013. -P. 1159-1168. DOI: DOI: 10.1145/2463676.2463708
  • Larson, P.-A. SQL server column store indexes/P.-A. Larson, C. Clinciu, E.N. Hanson, A. Oks, S.L. Price, S. Rangarajan, A. Surna, Q. Zhou//Proceedings of the 2011 ACM SIGMOD International Conference on Management of data (SIGMOD'11), June 12-16, 2011, Athens, Greece. -ACM, 2011. -P. 1177-1184. DOI: DOI: 10.1145/1989323.1989448
  • Larson, P.-A. Columnar Storage in SQL Server 2012/P.-A. Larson, E.N. Hanson, S.L. Price//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 15-20.
  • Färber, F. The SAP HANA Database -An Architecture Overview/F. Färber, N. May, W. Lehner, P. Große, I. Müller, H. Rauhe, J. Dees//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 28-33.
  • Weiss, R. A Technical Overview of the Oracle Exadata Database Machine and Exadata Storage Server -White Paper. -Oracle Corporation. -2012. -35 p./R.A. Weiss. URL: http://www.oracle.com/technetwork/database/exadata/exadata-technical-whitepaper-134575.pdf (дата обращения: 29.10.2015).
  • A Drill-Down into EXASolution. -Technical Whitepaper. -EXASOL AG. -2014. -15 p. URL: http://info.exasol.com/whitepaper-exasolution-2-en.html (дата обращения: 22.10.2015).
  • A Peek under the Hood. -Technical Whitepaper. -EXASOL AG. -2014. -16 p. URL: http://www.breos.com/sites/default/files/pdf/downloads/exasol_whitepaper.pdf (дата обращения: 22.10.2015).
  • EXASolution. -Business Whitepaper. -EXASOL AG. -2015. -11 p. URL: http://info.exasol.com/business-whitepaper-exasolution-en.html (дата обращения: 27.10.2015).
  • Actian SQL Analytics in Hadoop. -A Technical Overview. -Actian Corporation. -2015. -16 p. URL: http://bigdata.actian.com/SQLAnalyticsinHadoop (дата обращения: 27.10.2015).
  • Ślęzak, D. Towards approximate SQL: infobright's approach/D. Ślęzak, M. Kowalski//Proceedings of the 7th international conference on Rough sets and current trends in computing (RSCTC'10). -Springer-Verlag, 2010. -P. 630-639. DOI: DOI: 10.1007/978-3-642-13529-3_67
  • SAND CDBMS: A Technological Overview. -White Paper. -SAND Technology. -2010. -16 p. URL: http://www.sand.com/downloads/side2239eadd/wp_sand_cdbms_technological_overview_en.pdf (дата обращения: 29.10.2015).
  • Abadi, D.J. Column-Stores vs. Row-Stores: How Different Are They Really?/D.J. Abadi, S.R. Madden, N. Hachem//Proceedings of the 2008 ACM SIGMOD international conference on Management of data, June 9-12, 2008, Vancouver, BC, Canada. -ACM, 2008. -P. 967-980. DOI: DOI: 10.1145/1376616.1376712
  • Ivanova, E. Decomposition of Natural Join Based on Domain-Interval Fragmented Column Indices/E. Ivanova, L. Sokolinsky//Proceedings of the 38th International Convention on Information and Communication Technology, Electronics and Microelectronics, MIPRO, May 25-29, 2015, Opatija, Croatia. -IEEE, 2015. -P. 223-226. DOI: DOI: 10.1109/mipro.2015.7160266
  • Иванова, Е.В. Декомпозиция операции группировки на базе распределенных колоночных индексов/Е.В. Иванова, Л.Б. Соколинский//Наука ЮУрГУ. -Челябинск: Издательский центр ЮУрГУ, 2015. -С. 15-23.
  • Иванова, Е.В. Декомпозиция операций пересечения и соединения на основе доменно-интервальной фрагментации колоночных индексов/Е.В. Иванова, Л.Б. Соколинский//Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. -2015. -Т. 4, № 1. -С. 44-56. DOI: DOI: 10.14529/cmse150104
  • Иванова, Е.В. Использование распределенных колоночных хеш-индексов для обработки запросов к сверхбольшим базам данных/Е.В. Иванова//Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). -М.: Изд-во МГУ, 2014. -С. 102-104.
  • Huffman, D. A method for the construction of minimum-redundancy codes/D. Huffman//Proceedings of the I.R.E. -1952. -Vol. 40, No. 9. -P. 1098-1101. DOI: DOI: 10.1109/jrproc.1952.273898
  • Ziv, J. A universal algorithm for sequential data compression/J. Ziv, A. Lempel//IEEE Transactions on Information Theory. -1977. -Vol. 23, No. 3. -P. 337-343. DOI: DOI: 10.1109/tit.1977.1055714
  • Abadi, D.J. Integrating compression and execution in column-oriented database systems/D.J. Abadi, S.R. Madden, M. Ferreira//Proceedings of the 2006 ACM SIGMOD international conference on Management of data, June 26-29, 2006, Chicago, Illinois. -ACM, 2006. -P. 671-682. DOI: DOI: 10.1145/1142473.1142548
  • Bassiouni, M.A. Data Compression in Scientific and Statistical Databases/M.A. Bassiouni//IEEE Transactions on Software Engineering. -1985. -Vol. 11, No. 10. -P. 1047-1058. DOI: DOI: 10.1109/tse.1985.231852
  • Ruth, S.S. Data Compression for Large Business Files/S.S. Ruth, P.J. Kreutzer//Datamation. -1972. -Vol. 19, No. 9. -P. 62-66.
  • Roth, M.A. Database compression/M.A. Roth, S.J. Van Horn//ACM SIGMOD Record. -1993. -Vol. 22, No. 3. -P. 31-39. DOI: DOI: 10.1145/163090.163096
  • Deutsch, P. ZLIB Compressed Data Format Specification version 3.3/P. Deutsch, J. L. Gailly. -United States: RFC Editor. -1996. DOI: DOI: 10.17487/rfc1950
  • Roelofs, G. Zlib: A Massively Spiffy Yet Delicately Unobtrusive Compression Library/G. Roelofs, J. Gailly, M. Adler. URL: http://www.zlib.net/(дата обращения: 20.09.2015).
  • Deutsch, P. DEFLATE Compressed Data Format Specification version 1.3/P. Deutsch. -United States: RFC Editor. -1996. DOI: DOI: 10.17487/rfc1951
  • TPC Benchmark H -Standard Specification, Version 2.17.1. -Transaction Processing Performance Council (http://www.tpc.org). -2014. -136 p. URL: http://www.tpc.org/tpc_documents_current_versions/pdf/tpch2.17.1.pdf (дата обращения: 29.10.2015).
  • Gray, J. Quickly generating billion-record synthetic databases/J. Gray, P. Sundaresan, S. Englert, K. Baclawski, P.J. Weinberger//Proceedings of the 1994 ACM SIGMOD International Conference on Management of Data, May 24-27, 1994, Minneapolis, Minnesota. -ACM Press, 1994. -P. 243-252. DOI: DOI: 10.1145/191843.191886
  • Ungerer, T. A survey of processors with explicit multithreading/T. Ungerer, B. Robič, J. Šilc//ACM Computing Surveys. -2003. -Vol. 35, No. 1. -P. 29-63. DOI: DOI: 10.1145/641865.641867
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp