Производительность системы индексации Yahoo выросла на треть
Компания Yahoo сообщила о переводе своей системы индексации сайтов в интернете на программную платформу Hadoop.
Среда Hadoop на основе Java разрабатывается специалистами организации Apache Software Foundation и позволяет повысить скорость выполнения сложных задач за счет организации системы распределенных вычислений. Принцип работы Hadoop сводится к разбиению исходной задачи на множество подзадач, каждая из которых может быть обработана отдельным компьютерным узлом.
Yahoo подчеркивает, что на сегодняшний день Search Webmap является самым большим Hadoop-приложением в мире. Общее число процессорных ядер, задействованных при построении поискового индекса, исчисляется многими тысячами. Причем, как отмечается, после перехода на среду Hadoop скорость выполнения операций выросла на 34%.
Yahoo в настоящее время находится на втором месте в списке крупнейших поисковиков мира. Согласно статистике comScore, сейчас рыночная доля Yahoo составляет немногим менее 13%. Безоговорочным лидером является Google, обрабатывающий около 62% от общего количества поисковых запросов, вводимых пользователями интернета.
citcity.ru