Производительность запросов к гетерогенным источникам в ситуационно-ориентированных базах данных

А. С. Гусаренко

Аннотация


В области разработки баз данных продолжается активное движение по направлению создания нереляционных NoSQL-баз данных. Вопросы эффективности функционирования реляционных баз данных рассматривались в современных опубликованных работах в части оптимизации запросов, измерения времени выполнения SQL-выражений, здесь уже реализованы и известны программные средства для тестирования, определены виды тестов для измерения производительности СУБД. Такие программные средства и тесты с небольшими трудозатратами переносятся от одной реляционной СУБД к другой для измерения и оценки производительности запросов. В то же время для NoSQL-баз данных общими могут быть только объемы данных, для которых требуется измерить время обработки ядром нереляционной СУБД. В этой связи трудно встретить универсальные и легко переносимые средства для тестирования СУБД направления NoSQL. На аналогичном этапе разработки находятся ситуационно-ориентированные базы данных — подвид NoSQL-баз данных создаваемый в рамках проекта СОБД. Вместе с тем есть возможность измерить производительность за счет использования специализированных средств профилирования на платформе PHP путем встраивания их в программный код СОБД. Данная работа продолжает серию исследований по СОБД и рассматривает вопросы измерения и оценки производительности на примерах работы с гетерогенными источниками данных в микросервисе СОБД, документо-ориентированным хранилищем, офисными документами, архивами, реляционной СУБД, архивами. Специально для этого были разработаны или приспособлены варианты примеров применения СОБД. Полученные результаты измерений сопровождаются таблицами и графическими протоколами графов вызова программных функций СОБД для методов загрузки объемов данных целиком (Bulk Load) и порциями (Portion Load). Полученные результаты позволяют сделать вывод о сопоставимости результатов в части обработки данных с другими NoSQL-базами и двигаться дальше в направлении повышения эффективности работы СОБД.

Ключевые слова


ситуационно-ориентированная база данных; встроенная динамическая модель; гетерогенные источни-ки документов; виртуальные мультидокументы; динамические объекты обработки данных; RESTful-сервисы; тесты производительности

Полный текст:

PDF

Литература


Zongheng Yang et al. “Balsa: Learning a query optimizer without expert demonstrations”. In: Proceedings of the 2022 International Conference on Management of Data. SIGMOD/PODS ’22. Philadelphia, PA, USA: Association for Computing Machinery, 2022, pp. 931-944.

Zongheng Yang et al. “Deep Unsupervised Cardinality Estimation”. In: Proceedings of the VLDB Endowment. Vol. 13. 3. VLDB Endowment, 2019, pp. 279-292.

Guo Q. et al. “Multi-model query languages: taming the variety of big data” // Distributed and Parallel Databases. 2023.

Győrödi C. A. et al. “Performance analysis of NoSQL and relational databases with CouchDB and MySQL for application’s data storage” // Applied Sciences, 2020, vol. 10, no. 23, pp. 8524.

Zongheng Yang et al. “NeuroCard: One cardinality estimator for all tables”. In: Proceedings of the VLDB Endowment. Vol. 14. 1. VLDB Endowment, 2021, pp. 61-73.

Zongheng Yang et al. “Qd-tree: learning data layouts for big data analytics”. In: Proceedings of the 2020 International Conference on Management of Data. SIGMOD ’20. 2020.

Magableh B., Almiani M. “A self-healing microservices architecture: a case study in docker swarm cluster” // Advances in Intelligent Systems and Computing, 2020, vol. 926, pp. 846-858.

Hamzehloui M. S., Sahibuddin S., Salah K. “A systematic mapping study on microservices” // Advances in Intelligent Systems and Computing, 2019, vol. 843, pp. 1079-1090.

Huf A., Siqueira F. “Composition of heterogeneous web services: A systematic review” // Journal of Network and Computer Applications, 2019, vol. 143, pp. 89-110.

Миронов В. В., Гусаренко А. С., Тугузбаев Г. А. Ситуационно-ориентированные базы данных: формирование персонализированных графических документов для поддержки учебного проектирования // Моделирование, оптимизация и информационные технологии. 2020. Т. 8. № 2 (29). С. 1–18. [[ Mironov V. V., Gusarenko A. S., Tuguzbaev G. A. "Situation-oriented databases: the formation of personalized graphic documents for educational design support" // Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii = Modeling, Optimization and Information Technology, 2020, vol. 20, no. 4, pp. 1-18. (In Russian). ]]

Abdullah M., Iqbal W., Erradi A. “Unsupervised learning approach for web application autodecomposition into microservices” // Journal of Systems and Software. 2019. vol. 151. pp. 243–257.

Миронов В. В., Гусаренко А. С., Диметриев Р. Р., Сарваров М. Р. Создание персонализированных документов на основе ситуационно-ориентированной базы данных // Вестник Уфимского государственного авиационного технического университета. 2014. Т. 18. № 4 (65). С. 191–197. [[ Mironov V. V., Gusarenko A. S. et al. "The personalized documents generating using DOM-objects in situation-oriented databases" // Vestnik UGATU, 2014, vol. 18, no. 4 (65), pp. 191-197. (In Russian). ]]

Janga P., Davis K. C. “Mapping heterogeneous XML document collections to relational databases” // Lecture Notes in Computer Science, 2014, vol. 8824, pp. 86-99.

Миронов В. В., Гусаренко А. С., Тугузбаев Г. А. Извлечение семантической информации из графических схем // Информатика и автоматизация. 2021. Т. 20. № 4. С. 940–970. [[ Mironov V. V., Gusarenko A. S., Tuguzbaev G. A. In: Informatika i Avtomatizatsiya, 2021, vol. 20, no. 4, pp. 940-970. (In Russian). ]]

Миронов В. В., Юсупова Н. И., Гусаренко А. С. Ситуационно-ориентированные базы данных: современное состояние и перспективы исследования // Вестник Уфимского государственного авиационного технического университета. 2015. Т. 19. № 2 (68). С. 188–199. [[ Mironov V. V., Yusupova N. I., Gusarenko A. S. "Situation-oriented databases: current state and prospects for research". In: Vestnik UGATU, 2015, vol. 19, no. 2 (68), pp. 188-199. (In Russian). ]]

Миронов В. В., Гусаренко А. С., Юсупова Н. И. Структурирование виртуальных мультидокументов в ситуационно ориентированных базах данных с помощью entry-элементов // Труды СПИИРАН. 2017. № 4 (53). С. 225–240. [[ Mironov V. V., Gusarenko A. S., Yusupova N. I. "Structuring virtual multi-documents in situationally-oriented databases by means of entry-elements". In: Trudy SPIIRAN, 2017, no. 4 (53), pp. 255-240. (In Russian). ]]

Миронов В. В. Выявление плагиата в графических конструкторских документах в ходе учебного проектирования // Системная инженерия. 2023. Т. 5, № 1 (10). С. 56–66. [[ Mironov V. V. "Identify plagiarism in graphic design documents during educational design". In: Sistemnaja inzhenerija = System Engineering and Information Technologies, 2023, no. 1 (10), pp. 56-66. (In Russian). ]]

Миронов В. В., Гусаренко А. С., Юсупова Н. И. Мониторинг просмотров видео YouTube в образовательной среде на основе ситуационно-ориентированной базы данных и веб-сервисов RESTful // Системная инженерия. 2021. Т. 3. № 1(5). С. 39 49. [[ Mironov V. V., Gusarenko A. S, Yusupova N. I., "Monitoring youtube video views in the educational environment based on situation-oriented database and RESTful web services". In: Sistemnaja inzhenerija = System Engineering and Information Technologies, 2021, vol. 3, no. 1 (5), pp. 39-49. (In Russian). ]]

Гусаренко А. С. Ситуационно-ориентированные базы данных: верификация электронных подписей гетерогенных документов в RESTful веб-сервисе // Моделирование, оптимизация и информационные технологии. 2022. Т. 10. № 4. С. 1–17. [[ Gusarenko A. S., "Situation-oriented databases: verifying electronic signatures of heterogeneous documents in a RESTful web service". In: Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii = Modeling, Optimization and Information Technology, 2022, vol. 10, no. 4, pp. 1-17. (In Russian). ]]

Гусаренко А. С. Ситуационно-ориентированные базы данных: обработка гетерогенных документов микросервисов в документо-ориентированном хранилище // Моделирование, оптимизация и информационные технологии. 2022. Т. 10. № 4. С. 1–16. [[ Gusarenko A. S., "Situation-oriented databases: processing heterogeneous documents of microservices in a document-based storage". In: Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii = Modeling, Optimization and Information Technology, 2022, vol. 10, no. 4, pp. 1-16. (In Russian). ]]

Миронов В. В., Гусаренко А. С., Юсупова Н. И. Ситуационно-ориентированные базы данных: обработка офисных документов // Моделирование, оптимизация и информационные технологии. 2022. Т. 10. № 2. С. 1–16. [[Mironov V. V., Gusarenko A. S., Yusupova N. I. "Situation-oriented databases: processing office documents". In: Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii = Modeling, Optimization, and Information Technology, 2022, vol. 10, no. 2, pp. 1-16. (In Russian). ]]

Гусаренко А. С. Ситуационно-ориентированные базы данных: резервное копирование виртуальных мультидокументов модели динамических объектов обработки данных // Моделирование, оптимизация и информационные технологии. 2023. Т. 11. № 2. С. 1–19. [[ Gusarenko A. S., "Situation-oriented databases: backing up virtual multi-documents of dynamic data processing objects model". In: Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii = Modeling, Optimization, and Information Technology, 2023, vol. 11, no. 2, pp. 1-19. (In Russian). ]]

Papadopoulos A., Manolopoulos Y. “Parallel bulk-loading of spatial data” // Parallel Computing, 2003, vol. 29, no. 10, pp. 1419 1444.

Миронов В. В., Гусаренко А. С., Юсупова Н. И. Программное извлечение данных из word-документов на основе ситуационно-ориентированного подхода // Прикладная информатика. 2021. Т. 16. № 6. С. 66–83. [[Mironov V. V., Gusarenko A. S., Yusupova N. I. "Soft extract data from word-based documents situationally oriented approach". In: Prikladnaja informatika = Journal of Applied Informatics, 2021, vol. 16, no. 6, pp. 66-83. (In Russian). ]]

Seera N. K., Taruna S. “Analyzing cost parameters affecting map reduce application performance” // International Journal of Information Technology and Computer Science, 2016, vol. 8, no. 8.

Jiang D. et al. “The performance of MapReduce: an in-depth study” // Proc. VLDB Endow, 2010, vol. 3, no. 1–2, pp. 472-483.

Любченко М. А. Об одном опыте анализа данных и извлечения информации о программном продукте // Системная инженерия и информационные технологии. 2021. Т. 3, № 2 (6). С. 75–80. [[ Lyubchenko M. A. "About one experience of data analysis and information extraction about a software product" // System Engineering and Information Technologies, 2021, vol. 3, no. 2 (6), pp. 75-80. (In Russian). ]]

Закирова Э. Ф., Павлов С. В., Трубин В. Д., Христодуло О. И. Детализация пространственной информации для обеспечения защищенности баз данных в распределенных информационных системах // Системная инженерия и информационные технологии. 2022. Т. 4, № 1 (8). С. 20–26. [[ Zakirova E. F., Pavlov S. V., Trubin V. D., Khristodulo O. I. “Detailing of spatial information to ensure database security in distributed information systems” // System Engineering and Information Technologies, 2022, vol. 4, no. 1 (8), pp. 20-26. (In Russian). ]]

Климова А. В. Ковтуненко А. С., Парфенов Д. В. Формирование учебного плана с использованием технологии RDF-хранилищ // Системная инженерия и информационные технологии. 2022. Т. 4, № 2 (9). С. 49–55. [[ Klimova A. V., Kovtunenko A. S., Parfenov D. V. “Curriculum development using RDF-storage technology” // System Engineering and Information Technologies, 2022, vol. 4, no. 2 (9), pp. 49-55. (In Russian). ]]

Махмутов А. Р., Вульфин А. М., Миронов К. В. Исследование возможностей автономной работы конечных устройств интернета вещей // Системная инженерия и информационные технологии. 2022. Т. 5, № 1 (10). С. 41–47. [[ Makhmutov A. R., Vulfin A. M., Mironov K. V. "Study of the possibilities of autonomous operation of end devices of the Internet of Things" // System Engineering and Information Technologies, 2022, vol. 5, no. 1 (10), pp. 41–47. (In Russian). ]]


Ссылки

  • На текущий момент ссылки отсутствуют.


(c) 2023 А. С. Гусаренко