Колоночный сопроцессор баз данных для кластерных вычислительных систем

Колоночный сопроцессор баз данных для кластерных вычислительных систем

Автор: Иванова Елена Владимировна, Соколинский Леонид Борисович

Журнал: Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика @vestnik-susu-cmi

Рубрика: Информатика, вычислительная техника и управление

Статья в выпуске: 4 т.4, 2015 года.

Бесплатный доступ

Статья посвящена вопросам проектирования и реализации колоночного сопроцессора баз данных для реляционных СУБД. Колоночный сопроцессор (КСОП) разработан на базе колоночной модели хранения данных и ориентирован на большие кластерные вычислительные системы. КСОП может работать как на обычных центральных процессорах, так и на сопроцессорах с архитектурой MIC. КСОП поддерживает колоночные индексы с суррогатными ключами, которые во фрагментированном виде хранятся в оперативной памяти кластерной вычислительной системы. Фрагментация осуществляется на основе доменно-интервального принципа. На запросах класса OLAP колоночный сопроцессор КСОП демонстрирует производительность, многократно превышающую производительность строчных хранилищ.

Еще

Колоночный сопроцессор, ксоп, распределенные колоночные индексы, доменно-интервальная фрагментация, кластерные вычислительные системы, многоядерные сопроцессоры, архитектура mic

Короткий адрес: https://sciup.org/147160578

IDR: 147160578   |   DOI: 10.14529/cmse150401

Список литературы Колоночный сопроцессор баз данных для кластерных вычислительных систем

  • Чернышев, Г.А. Организация физического уровня колоночных СУБД/Г.А Чернышев//Труды СПИИРАН. -2013. -№ 7. Вып. 30. -С. 204-222.
  • Abadi, D.J. The Design and Implementation of Modern Column-Oriented Database Systems/D.J. Abadi, P.A. Boncz, S. Harizopoulos, S. Idreos, S. Madden//Foundations and Trends in Databases. -2013. -Vol. 5, No. 3. -P. 197-280. DOI: DOI: 10.1561/1900000024
  • Idreos, S. MonetDB: Two Decades of Research in Column-oriented Database Architectures/S. Idreos, F. Groffen, N. Nes, S. Manegold, S. Mullender, M.L. Kersten//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 40-45.
  • Boncz, P.A. MonetDB/X100: Hyper-pipelining query execution/P.A. Boncz, M. Zukowski, N. Nes//Proceedings of the Second Biennial Conference on Innovative Data Systems Research (CIDR), January 4-7, Asilomar, CA, USA. -2005. -P. 225-237.
  • Stonebraker, M. C-Store: A Column-Oriented DBMS/M. Stonebraker, D.J. Abadi, A. Batkin, X. Chen, M. Cherniack, M. Ferreira, E. Lau, A. Lin, S.R. Madden, E.J. O’Neil, P.E. O’Neil, A. Rasin, N. Tran, S.B. Zdonik//Proceedings of the 31st International Conference on Very Large Data Bases (VLDB'05), August 30 -September 2, 2005, Trondheim, Norway. -ACM, 2005. -P. 553-564.
  • MacNicol, R. Sybase IQ multiplex -designed for analytics/R. MacNicol, B. French//Proceedings of the Thirtieth International Conference on Very Large Data Bases, August 31-September 3, 2004, Toronto, Canada. -Morgan Kaufmann, 2004. -P. 1227-1230. DOI: DOI: 10.1016/b978-012088469-8/50111-x
  • Zukowski, M. Vectorwise: Beyond column stores/M. Zukowski, P.A. Boncz//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 21-27.
  • Lamb, A. The Vertica analytic database: C-store 7 years later/A. Lamb, M. Fuller, R. Varadarajan, N. Tran, B. Vandier, L. Doshi, C. Bear//Proceedings of the VLDB Endowment. -2012. -Vol. 5, No. 12. -P. 1790-1801. DOI: DOI: 10.14778/2367502.2367518
  • Barber, R. Business Analytics in (a) Blink/R. Barber, P. Bendel, M. Czech, O. Draese, F. Ho, N. Hrle, S. Idreos, M. S. Kim, O. Koeth, J. G. Lee, T.T. Li, G.M. Lohman, K. Morfonios, R. Müller, K. Murthy, I. Pandis, L. Qiao, V. Raman, R. Sidle, K. Stolze, S. Szabo//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 9-14.
  • Larson, P.-A. Enhancements to SQL server column stores/P.-A. Larson, C. Clinciu, C. Fraser, E.N. Hanson, M. Mokhtar, M. Nowakiewicz, V. Papadimos, S.L. Price, S. Rangarajan, R. Rusanu, M. Saubhasik//Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data (SIGMOD'13), June 22-27, 2013, New York, NY, USA. -ACM, 2013. -P. 1159-1168. DOI: DOI: 10.1145/2463676.2463708
  • Larson, P.-A. SQL server column store indexes/P.-A. Larson, C. Clinciu, E.N. Hanson, A. Oks, S.L. Price, S. Rangarajan, A. Surna, Q. Zhou//Proceedings of the 2011 ACM SIGMOD International Conference on Management of data (SIGMOD'11), June 12-16, 2011, Athens, Greece. -ACM, 2011. -P. 1177-1184. DOI: DOI: 10.1145/1989323.1989448
  • Larson, P.-A. Columnar Storage in SQL Server 2012/P.-A. Larson, E.N. Hanson, S.L. Price//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 15-20.
  • Färber, F. The SAP HANA Database -An Architecture Overview/F. Färber, N. May, W. Lehner, P. Große, I. Müller, H. Rauhe, J. Dees//IEEE Data Engineering Bulletin. -2012. -Vol. 35, No. 1. -P. 28-33.
  • Weiss, R. A Technical Overview of the Oracle Exadata Database Machine and Exadata Storage Server -White Paper. -Oracle Corporation. -2012. -35 p./R.A. Weiss. URL: http://www.oracle.com/technetwork/database/exadata/exadata-technical-whitepaper-134575.pdf (дата обращения: 29.10.2015).
  • A Drill-Down into EXASolution. -Technical Whitepaper. -EXASOL AG. -2014. -15 p. URL: http://info.exasol.com/whitepaper-exasolution-2-en.html (дата обращения: 22.10.2015).
  • A Peek under the Hood. -Technical Whitepaper. -EXASOL AG. -2014. -16 p. URL: http://www.breos.com/sites/default/files/pdf/downloads/exasol_whitepaper.pdf (дата обращения: 22.10.2015).
  • EXASolution. -Business Whitepaper. -EXASOL AG. -2015. -11 p. URL: http://info.exasol.com/business-whitepaper-exasolution-en.html (дата обращения: 27.10.2015).
  • Actian SQL Analytics in Hadoop. -A Technical Overview. -Actian Corporation. -2015. -16 p. URL: http://bigdata.actian.com/SQLAnalyticsinHadoop (дата обращения: 27.10.2015).
  • Ślęzak, D. Towards approximate SQL: infobright's approach/D. Ślęzak, M. Kowalski//Proceedings of the 7th international conference on Rough sets and current trends in computing (RSCTC'10). -Springer-Verlag, 2010. -P. 630-639. DOI: DOI: 10.1007/978-3-642-13529-3_67
  • SAND CDBMS: A Technological Overview. -White Paper. -SAND Technology. -2010. -16 p. URL: http://www.sand.com/downloads/side2239eadd/wp_sand_cdbms_technological_overview_en.pdf (дата обращения: 29.10.2015).
  • Abadi, D.J. Column-Stores vs. Row-Stores: How Different Are They Really?/D.J. Abadi, S.R. Madden, N. Hachem//Proceedings of the 2008 ACM SIGMOD international conference on Management of data, June 9-12, 2008, Vancouver, BC, Canada. -ACM, 2008. -P. 967-980. DOI: DOI: 10.1145/1376616.1376712
  • Ivanova, E. Decomposition of Natural Join Based on Domain-Interval Fragmented Column Indices/E. Ivanova, L. Sokolinsky//Proceedings of the 38th International Convention on Information and Communication Technology, Electronics and Microelectronics, MIPRO, May 25-29, 2015, Opatija, Croatia. -IEEE, 2015. -P. 223-226. DOI: DOI: 10.1109/mipro.2015.7160266
  • Иванова, Е.В. Декомпозиция операции группировки на базе распределенных колоночных индексов/Е.В. Иванова, Л.Б. Соколинский//Наука ЮУрГУ. -Челябинск: Издательский центр ЮУрГУ, 2015. -С. 15-23.
  • Иванова, Е.В. Декомпозиция операций пересечения и соединения на основе доменно-интервальной фрагментации колоночных индексов/Е.В. Иванова, Л.Б. Соколинский//Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. -2015. -Т. 4, № 1. -С. 44-56. DOI: DOI: 10.14529/cmse150104
  • Иванова, Е.В. Использование распределенных колоночных хеш-индексов для обработки запросов к сверхбольшим базам данных/Е.В. Иванова//Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). -М.: Изд-во МГУ, 2014. -С. 102-104.
  • Huffman, D. A method for the construction of minimum-redundancy codes/D. Huffman//Proceedings of the I.R.E. -1952. -Vol. 40, No. 9. -P. 1098-1101. DOI: DOI: 10.1109/jrproc.1952.273898
  • Ziv, J. A universal algorithm for sequential data compression/J. Ziv, A. Lempel//IEEE Transactions on Information Theory. -1977. -Vol. 23, No. 3. -P. 337-343. DOI: DOI: 10.1109/tit.1977.1055714
  • Abadi, D.J. Integrating compression and execution in column-oriented database systems/D.J. Abadi, S.R. Madden, M. Ferreira//Proceedings of the 2006 ACM SIGMOD international conference on Management of data, June 26-29, 2006, Chicago, Illinois. -ACM, 2006. -P. 671-682. DOI: DOI: 10.1145/1142473.1142548
  • Bassiouni, M.A. Data Compression in Scientific and Statistical Databases/M.A. Bassiouni//IEEE Transactions on Software Engineering. -1985. -Vol. 11, No. 10. -P. 1047-1058. DOI: DOI: 10.1109/tse.1985.231852
  • Ruth, S.S. Data Compression for Large Business Files/S.S. Ruth, P.J. Kreutzer//Datamation. -1972. -Vol. 19, No. 9. -P. 62-66.
  • Roth, M.A. Database compression/M.A. Roth, S.J. Van Horn//ACM SIGMOD Record. -1993. -Vol. 22, No. 3. -P. 31-39. DOI: DOI: 10.1145/163090.163096
  • Deutsch, P. ZLIB Compressed Data Format Specification version 3.3/P. Deutsch, J. L. Gailly. -United States: RFC Editor. -1996. DOI: DOI: 10.17487/rfc1950
  • Roelofs, G. Zlib: A Massively Spiffy Yet Delicately Unobtrusive Compression Library/G. Roelofs, J. Gailly, M. Adler. URL: http://www.zlib.net/(дата обращения: 20.09.2015).
  • Deutsch, P. DEFLATE Compressed Data Format Specification version 1.3/P. Deutsch. -United States: RFC Editor. -1996. DOI: DOI: 10.17487/rfc1951
  • TPC Benchmark H -Standard Specification, Version 2.17.1. -Transaction Processing Performance Council (http://www.tpc.org). -2014. -136 p. URL: http://www.tpc.org/tpc_documents_current_versions/pdf/tpch2.17.1.pdf (дата обращения: 29.10.2015).
  • Gray, J. Quickly generating billion-record synthetic databases/J. Gray, P. Sundaresan, S. Englert, K. Baclawski, P.J. Weinberger//Proceedings of the 1994 ACM SIGMOD International Conference on Management of Data, May 24-27, 1994, Minneapolis, Minnesota. -ACM Press, 1994. -P. 243-252. DOI: DOI: 10.1145/191843.191886
  • Ungerer, T. A survey of processors with explicit multithreading/T. Ungerer, B. Robič, J. Šilc//ACM Computing Surveys. -2003. -Vol. 35, No. 1. -P. 29-63. DOI: DOI: 10.1145/641865.641867
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp