К ВОПРОСАМ ПЛАНИРОВАНИЯ И БАЛАНСИРОВКИ НАГРУЗКИ В HADOOP MAPREDUCE
Ключевые слова:
Hadoop, MapReduce, планирование заданий, балансировка нагрузки, локальность данных, перекос данных.Аннотация
MapReduce является одной из самых известных моделей программирования для обработки больших данных в распределенных и облачных вычислениях. Балансировка нагрузки в MapReduce является одним из факторов, который позволяет повысить производительность приложения за счет решения таких проблем, как обеспечение локальности и устранение перекоса данных. В распространенной реализации Map-ReduceApacheHadoop равномерное распределение нагрузки по узлам кластера может быть достигнуто как за счет тщательного планирования заданий, так и за счет применения алгоритмов балансировки. В статье рассмотрены некоторые из подходов.
Библиографические ссылки
Атаманов, Ю. С. Введение в BigData / Ю. С. Атаманов, В. С. Гончарук, С. Н. Гордеев. // Молодой ученый. — 2017. — № 11 (145). — С. 33–34. — URL: https://moluch.ru/archive/145/40562/ (дата обращения: 25.10.2022).
ShayeganFard, Mohammad &Vakili, Meysam.. Load balancing in MapReduce on homogeneous and heterogeneous clusters: An in-depth review. International Journal of Communication Networks and Distributed Systems - 2015)..
Ivanisenko, I.N., Radivilova, T.A., 2015. Survey of Major Load-balancing algorithms in Distributed System. Information Technologies in Innovation Business Conference(ITIB). – 2015
David Taylor. What is MapReduce in Hadoop? Big Data Architecture. 2022 URL: https://www.guru99.com/introduction-to-mapreduce.html / (датаобращения: 25.10.2022).
M. Jones. Scheduling in Hadoop. An introduction to the pluggable scheduler framework / URL: https://developer.ibm.com/articles/os-hadoop-scheduling/ (датаобращения: 25.10.2022).
Zaharia, M., Borthakur, D., Sarma, J.S.,etal.:‘Job scheduling for multi-user mapreduce clusters’, Technical Report, UCB/EECS-2009-55, Electrical Engineering and Computer Sciences, University of California at Berkeley, 2009.
Zaharia, M., Borthakur, D., Sarma, J.S., 2010. Delay Scheduling: A Simple Technique for Achieving Locality and Fairness in Cluster Scheduling, in Proceedings of the European conference on Computer systems (EuroSys'10), 265–278.
EinollahJafarnejadGhomia, Amir MasoudRahmani and NooruldeenNasihQaderb (2017), "Load-balancing algorithms in cloud computing: A survey", Journal of Network and Computer Applications Volume 88, Pages 50-71.
Bok, K., Hwang, J., Jongtae Lim, J., Kim, Y., Yoo, J., 2016. An efficient MapReduce scheduling scheme for processing large multimedia data. Multimed. Tools Appl.,1–24.
Yang, S.J., Chen, Y.R., 2015. Design adaptive task allocation scheduler to improve MapReduce performance in heterogeneous clouds. J. Netw. Comput. Appl. 57, 61–70.
Ghoneem, M., Kulkarni, L., 2016. An Adaptive MapReduce Scheduler for Scalable Heterogeneous Systems. Proceeding of the International Conference on Data Engineering and Communication Technology, 603–6011.
Benifa, J.V.B., Dejey, 2017. Performance improvement of MapReduce for heterogeneous clusters based on efficient locality and Replica aware scheduling (ELRAS) strategy. Wirel. Personal. Commun., 1–25
Valvåg, S.V., 2011. Cogset: A High-Performance MapReduce Engine. Faculty of Science and Technology Department of Computer Science, University of Tromsö, 14.
Kolb L., Thor A., Rahm E., 2012. Load Balancing for MapReduce-based Entity Resolution, IEEE In: Proceedings of the 28th International Conference on Data Engineering, 618-629.
R. Vernica, A. Balmin, K. S. Beyer, V. Ercegovac, "Adaptive MapReduce using Situation-Aware Mappers," 2012.
Hou, X., Kumar, A., Varadharajan, V., 2014. Dynamic Workload Balancing for Hadoop MapReduce. Proceeding of International Conference on Big data and Cloud Computing, 56-62.
Гайдамако,В.В. Моделирование производительности многоуровневого веб-приложения на основе исчисления реального времени / В.В.Гайдамако // Проблемы автоматики и управления. 2020.–№2 (39) – С. 23–32.
N, Sowmya&Aparna, Manikonda&Tijare, Poonam &Nalini, N. (2015). An adaptive load balancing strategy in cloud computing based on Map reduce. 86-89. 10.1109/NGCT.2015.7375088.
Леонид Черняк. Интеллект роя для ИТ. – URL: https://www.osp.ru/os/2014/02/13040047
Загрузки
Опубликован
Выпуск
Раздел
Категории
Лицензия
Copyright (c) 2022 Валентина Викторовна Гайдамако
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
