Сеть Facebook растет и совершенствует систему управления

Столкнувшись с необходимостью управлять размещением 50 миллиардов пользовательских изображений и обеспечивать доступ к ним, инженеры Facebook решили обновить систему хранения фотографий, которая будет работать на 50% быстрее прежней. Разработка системы под названием Haystack, что означает "стог сена", длилась несколько лет, а в последние несколько месяцев специалисты Facebook тестировали ее с ограниченным функционалом на некоторых участках сети. По словам Бобби Джонсона (Bobby Johnson), технического директора Facebook, система Haystack будет введена в эксплуатацию в полном объеме на следующей неделе.

Как показали проведенные тесты, скоростные показатели Haystack в полтора раза превосходят характеристики обычных систем хранения изображений, а в пересчете на стоимость оборудования, которого теперь потребуется на 50% меньше, она дает двойную выгоду. Учитывая количество файлов, которые хранятся в системе, компания сумеет сэкономить немало средств.

Специалисты Facebook столкнулись с необходимостью замены системы хранения, когда число пользовательских фотографий стало стремительно увеличиваться. 175 миллионов участников сети не просто размещали в своих альбомах снимки домашних животных, свадебные фотографии и воспоминания об отпуске – ко всем этим изображениям постоянно обращались они сами, их друзья, члены семей. Наконец, число файлов достигло 15 миллиардов, не считая их копий, и прирост объема пользовательских данных составлял по 500 Гб каждый день. Серверам Facebook приходилось обрабатывать до 50 миллионов запросов в секунду.

Достичь необходимой скорости обработки изображений системе Haystack помогает специальный алгоритм, предназначенный для небольших файлов, которые в течение долгого времени остаются неизменными. Кроме того, традиционные структуры каталогов имеют дело с именами файлов, поэтому немалое количество ресурсов расходуется на обычный поиск. Новая система использует идентификационные номера вместо имен, что позволяет создать очень компактную структуру. Более подробные сведения о преимуществах Haystack будут опубликованы в течение следующих нескольких недель.

После пяти лет непрерывного развития сеть Facebook все-таки обогнала по количеству пользователей недавнего лидера MySpace, а в прошлом месяце на ее страницах побывало 222 миллиона уникальных посетителей, поэтому новая система управления стала жизненной необходимостью. Инженеры сети уверяют, что ее внедрение проходит вполне благополучно. В настоящий момент Facebook приближается к юбилейной отметке – 200 миллионов пользователей.