Библиотека сайта rus-linux.net
Распределенная файловая система Hadoop
Глава 8 из книги "Архитектура приложений с открытым исходным кодом", том 1.
Оригинал: The Hadoop Distributed File System
Авторы: Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko, Suresh Srinivas
Дата публикации: 7 Июля 2012 г.
Перевод: А.Панин
Дата перевода: 8 Апреля 2013 г.
8.5. Выученные уроки
Небольшая команда смогла разработать файловую систему Hadoop и сделать ее достаточно стабильной и надежной для промышленной эксплуатации. Успех в большей степени был достигнут благодаря ее чрезвычайно простой архитектуре: копируемым блокам, периодическим отчетам о состоянии блоков и центральному серверу метаданных. Отход от точного следования семантикам POSIX также помог. Хотя решение о хранении всех метаданных в оперативной памяти и ограничило возможности масштабирования пространства имен, оно позволило достаточно просто реализовать сервер метаданных: удалось избежать использования сложных механизмов блокировок, применяемых в стандартных файловых системах. Другой причиной успеха файловой системы Hadoop было ее незамедлительное промышленное использование в компании Yahoo!, так как это обстоятельство позволило быстро и последовательно вносить улучшения. Файловая система очень надежна и нарушения работы сервера метаданных происходят очень редко; на самом деле большая часть периодов неработоспособности связана с обновлениями программного обеспечения. Только недавно в файловой системе были применены (описанные в руководстве) решения, позволяющие повысить отказоустойчивость.
Многие были удивлены выбором языка Java для создания масштабируемой файловой системы. Хотя из-за использования Java и пришлось столкнуться с проблемами масштабирования сервера метаданных ввиду дополнительных затрат памяти на объекты и механизма сборки мусора, Java обуславливает надежность системы; использование этого языка позволяет избежать ошибок, связанных с указателями и управлением памятью.
8.6. Благодарности
Мы хотим поблагодарить компанию Yahoo! за инвестиции в разработку Hadoop и распространение открытого исходного кода; 80% кода HDFS и MapReduce было разработано в компании Yahoo! Мы благодарим всех разработчиков и сотрудников, имеющих отношение к Hadoop, за их весомый вклад в разработку.
Сноски
http://hadoop.apache.orghttp://www.lustre.org- Задается как отношение использованного дискового пространства сервера ко всему доступному дисковому пространству сервера.
- Задается как отношение использованного дискового пространства кластера ко всему доступному дисковому пространству кластера.
Далее: К началу статьи