В Google File System поставлен новый рекорд по скорости передачи данных
Гжегож Цажковски, системный инженер Google в официальном блоге Google сегодня сообщил, что в экспериментах с файловой системой Google File System был поставлен новый рекорд по скорости передачи данных. 1 Петабайт данных (10 трлн 100-байтных текстовых файлов) был передан 4000 клиентских компьютеров за 6 часов и 2 минуты.
1 петабайт данных позволяет 12 раз скопировать все содержимое Библиотеки Конгресса США - крупнейшей библиотеки в мире.
Недавно в Google достигли и еще одного впечатляющего результата по трансферу данных - 1 терабайт данных при помощи инфраструктуры компании был передан 1000 клиентских компьютеров всего за 68 секунд. Сортировка 1 терабайта данных и их передача 910 компьютерам заняла 209 секунд.
Цажковски также отметил, что с учетом архитектуры поисковой системы Google для хранения 1 петабайта данных требуется около 48 000 жестких дисков, причем в стандартных условиях система работает с трехкратной избыточностью, то есть каждый блок данных продублирован трижды.
citcity.ru