Ирина Эланс

Автор который поможет с любыми образовательными и учебными заданиями

Метапоисковые системы

ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

ГОУ ВПО «НИЖНЕВАРТОВСКИЙ ГОСУДАРСТВЕННЫЙ ГУМАНИТАРНЫЙ УНИВЕРСИТЕТ»

Гуманитарный факультет

Отделение управления

Кафедра документоведения и всеобщей истории

Контрольная работа по курсу:

Информационные системы

Тема: « Метапоисковые системы»

Выполнила:

Студентка VI курса

Группы 62-Д ОЗО

Павлова В.В.

Проверил:

_______________

Нижневартовск 2011

СОДЕРЖАНИЕ

Введение
Что такое метапоисковая система
Принципы работы метапоисковых систем
Заключение
Список использованной литературы

1. Введение

Часто пользуясь одной поисковой службой, такой как Rambler или Yandex, начинаешь ощущать недостаточность найденной ею информацией. Тогда по неволе задумаешься: "а если для поиска необходимой мне информации не достаточно одной поисковой службы, то неужели мне придется входить на все здесь перечисленные сервера и каждый раз повторять один и тот же запрос?!". Наиболее качественный результат как раз будет именно при таком подходе. Но можно, исходя из экономии времени и денег, воспользоваться системами мета поиска.

2.Что такое метапоисковая система?

Метапоисковая система - это поисковый инструмент, посылающий ваш запрос одновременно на несколько поисковых систем, каталогов и иногда, в так называемую невидимую (скрытую) паутину - собрание онлайновой информации, не проиндексированной традиционными поисковыми системами. Собрав результаты, метапоисковая система удаляет дублированные ссылки и, в соответствии со своим алгоритмом, объединяет/ранжирует результаты в общем списке.

В отличие от отдельных поисковых систем и директорий, метапоисковые системы не имеют собственных баз данных.

Метапоисковые системы экономят достаточно много времени, избавляя от необходимости вводить запрос в каждой отдельной поисковой системе. Результаты, в большинстве случаев - в высшей степени релевантны. Метапоисковые системы могут использоваться вебмастерами для выяснения, присутствует ли их сайт в главных поисковых системах, какие у него рейтинги и насколько популярны ссылки.

Метапоисковые системы различаются между собой:

- "Реальные" метапоисковые системы, которые объединяют/ранжируют результаты на одной странице;

- "Псевдо" метапоисковые системы первого типа, которые группируют результаты по поисковым системам на одной длинной странице;

- "Псевдо" метапоисковые системы второго типа, которые открывают для каждой используемой поисковой системы новое окно;

- Поисковые утилиты - программные поисковые средства.

"Реальные" метапоисковые системы

Эти "реальные" метапоисковые системы одновременно производят поиск в основных поисковых системах, обобщают результаты, удаляют дублированные ссылки и представляют наиболее подходящие результаты, в соответствии с алгоритмом.

Лучшие метапоисковые системы определяются по следующим критериям: количество и релевантность результатов, способность использовать дополнительные (продвинутые) способы поиска, предоставление пользователям возможности определять свои условия, скорость поиска, и т.п.

ez2www

Производит поиск по лучшим поисковикам - AlltheWeb, Google, AltaVista, Teoma, Wisenut - и директориям - Yahoo! и Open Directory. При помощи функции "Дополнительный поиск" также производит поиск на небольшом сегменте невидимой (скрытой) сети. Также ищет новости, сетевые конференции, МР3, изображения и много чего другого. Предоставляет отличные результаты в очень четком интерфейсе.

Vivisimo

Использует кластерную технологию, подразумевающую объединение результатов в папки.

Query Server

Производит поиск по впечатляющему списку 11 поисковых систем - все основные, кроме Google. Но не стоит волноваться: Query Server ищет в Yahoo!, Netscape и AOL, частично поддерживаемых Google. Это еще один пример кластерной технологии - метапоисковый инструмент с отличными возможностями настройки. Можно изменять вид странички результатов, выбирая поисковые системы, количество результатов, и т.п. Поддерживает заключение фраз в кавычки, Булев синтаксис и круглые скобки. Очень профессиональная система.

IBoogie

Минималистический дизайн. Эта метапоисковая система "выполняет разумную кластеризацию результатов". Ищет в WWW, невидимой (скрытой) паутине, картинки, видео и аудио файлы.

Fazzle (бывший Search Online)

Использует отличную подборку поисковых систем и директорий. Эта метапоисковая система предоставляет релевантные результаты в несколько переполненном интерфейсе. По каждому результату можно видеть поисковик, где был найден ответ, и рейтинг.

Meta Bear

Предоставляет релевантные результаты как с международных, так и с русских сайтов.

Web Scout

Ищет документы, новости, конференции, аукционы, МР3 и работу. Эта австралийская метапоисковая система использует основные поисковые системы - кроме Google - и предоставляет релевантные результаты в четком списке результатов.

argosa:de

Производит поиск в 17 международных и местных ПС. Рекомендую не проверять окна поисковых систем Acoon, Abacho, GoClick и ah_ha.com, так как они дают много несоответствующих результатов. Это первая немецкая метапоисковая система, предоставляющая отличные результаты, организованные по релевантности, источнику (quelle) или имени.

Experts Avenue

Одновременно ищет в разных поисковиках веб-страницы, аукционы, работу и форумы; предоставляет весьма релевантные результаты в четком интерфейсе. Предлагает онлайновый перевод веб-страниц.

InfoGrid

Предоставляет отличные результаты в удобном для чтения формате, несмотря на крайне запутанную домашнюю страницу - перегруженную и с фреймами. Эта метапоисковая система ищет в крутых поисковиках, в том числе Google, AlltheWeb, Yahoo! Также ищет новости, аукционы, дискуссионные форумы, МР3, FTP файлы и многое другое.

Suchspider.de

Производит поиск аж в 100 международных поисковых системах Google, AlltheWeb, Open Directory и все такое. Результаты можно сортировать по релевантности, источнику и - что намного лучше - группировать по имени домена. Базируется в Германии.

My Prowler

Ищет более чем в десяти поисковиков, новости, изображения, аудио/МР3, музыкальное видео, аукционы и разные другие сайты. Компилирует результаты, удаляет неподходящие варианты и предоставляет обобщенный отчет. Принимает запрос на "родном языке".

Dug Dugi

Отправляет запрос на основные поисковики, сортирует результаты, удаляет ненужную информацию и обобщает результаты в супер-чистом формате. По каждому результату приводится поисковая система и рейтинг страницы.

Кроме очень хороших метапоисковых систем, есть также другие, которые стоит попробовать:

"Псевдо" метапоисковые системы первого типа

"Псевдо" метапоисковые системы первого типа отправляют запрос на поисковики, а затем представляют результаты, сгруппированные по поисковику в один длинный, легкий для чтения список с возможностью прокручивания. В зависимости от того, сколько вы выберете поисковых систем, время ожидания может затянуться. Хотя, возможно, кому-то эти метапоисковые системы окажутся полезны.

Лучшие метапоисковые системы в этой категории:

Mall Agent [ http://www.mallagent.com/web.html ], предоставляющая результаты с 38 поисковых систем и ВД

qb Search [ http://www.qbsearch.com/ ] (с 17),

Better Brain [ http://www.betterbrain.com/ ] (12),

My Net Crawler [ http://www.mynetcrawler.com/ ] (12),

NBCi [ http://www.nbci.msnbc.com/ ] (11),

Planet Search (Sherlock Hound) [ http://www.planetsearch.com/ ] (10),

"Псевдо" метапоисковые системы второго типа

Есть два вида "псевдо" метапоисковых систем второго типа:

а) Вы впечатываете запрос один раз, а затем выбираете поисковые системы. Для каждой выбранной системы будет открыто новое окно. Лучшие из них:

Multi-Search-Engine.com [http://www.multi-search-engine.com/], ткрывающая 36 окон,

GoGettem [ http://www.gogettem.com/ ] (30),

Search Bridge [ http://www.searchbridge.com/ ] (24),

The Info [ http://www.theinfo.com/ ] (15) и

Net Depot [ http://www.netdepot.org/ ] (15).

б) Вы выбираете поисковую систему, впечатываете запрос в формуляре поисковой системы, и тогда открывается новое окно. У каждой поисковой системы свой бланк запроса. Лучшие из них:

Alpha Seek [ http://www.alfaseek.com/ ],

Westlaser [ http://www.westlaser.com/ ],

Dan's No Overhead Search Thingy [ http://www.danielc.com/thingy.html ],

Express Find [ http://www.expressfind.com/ ].

Поисковые утилиты

Это загружаемые инструменты метапоиска, которые ищут в многочисленных поисковых системах. Результаты упорядочиваются и ранжируются по релевантности, с удалением повторов. Это не бесплатные системы, но у большинства из них есть бесплатная пробная версия.

Самые популярные из них:

BullsEye [ http://www.intelliseek.com/ ],

Copernic [ http://www.copernic.com/ ],

LexiBot (formerly know as Mata Hari) [ http://www.lexibot.com/ ],

WebFerret [ http://www.zdnet.com/ferret/index.html ] and

WolfBot [ http://www.wolfbot.com/ ].

Всемирная сеть Интернет, содержащая постоянно растущий огромный объем динамически изменяющейся информации, развивается небывало бурными темпами. Для того чтобы как-то упорядочить этот непрерывный поток данных, а самое главное, дать возможность пользователям Сети находить нужную информацию, были созданы специальные поисковые системы. Каждая такая система имеет индекс, несущий служебную информацию о содержимом проиндексированных документов, где каждому слову текста соответствует частота его употребления и координаты данного слова в тексте.

Каждая поисковая система имеет только свое собственное, ограниченное ее ресурсами, множество документов, которые доступны для поиска. Ни одна из подобных систем не сможет охватить всех ресурсов Интернет, поэтому в любой момент может возникнуть ситуация, когда информационные потребности пользователя не смогут быть удовлетворены. Как правило, в этом случае пользователь переходит на другую поисковую систему и пытается искать то, что ему нужно, там.

Для решения данной проблемы и расширения возможности поиска, были созданы системы, названные метапоисковыми. Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы множества поисковых систем. За счет этого полнота поиска в таких системах максимальна и вероятность нахождения нужной информации очень высока.

3. Принципы работы метапоисковых систем

При проектировании метапоисковой системы нужно решить ряд проблем.

Прежде всего, из полученного от поисковых систем множества документов необходимо выделить наиболее релевантные, то есть соответствующие запросу пользователя. Как правило, создатели метапоисковых систем не совсем оправданно надеются, что поисковые системы, которые они используют, возвращают релевантные результаты поиска, и слишком полагаются на позицию, на которой в данной поисковой системе находится документ. В таких системах анализ полученных описаний документов не производится, что может поставить нерелевантные документы, идущие первыми в одной поисковой системе, выше релевантных в другой, чем существенно понизить качество самого поиска. Этот принцип оказался хорошим при создании автором анализатора позиции сайта в поисковых системах, но в целом для систем метапоиска оказался неудовлетворительным.

При разработке следующего поколения метапоисковых систем были учтены недостатки, присущие стандартным метапоисковым системам. Были созданы системы с возможностью выбора тех поисковых машин, в которых, по мнению пользователя, он с большей вероятностью может найти то, что ему нужно.

Кроме этого, такой подход позволяет уменьшить используемые вычислительные ресурсы метапоискового сервера, не перегружая его слишком большим объемом ненужной информации и серьезно сэкономить трафик. Здесь нужно отметить, что в любой системе метапоиска наиболее узким местом в основном является пропускная способность канала передачи данных, так как обработка страниц с результатами поиска, полученными от нескольких десятков поисковых серверов не является слишком трудоемкой операцией, потому что затраты времени на обработку информации на порядки меньше времени прихода страниц, запрошенных у поисковых серверов.

Рассмотрим принцип работы метапоисковой системы.

Начнем со стартовой страницы данной метапоисковой системы. Обычно интерфейс такой системы предельно упрощен и сразу же позволяет понять, что, где и как здесь можно искать.

Пользователь выбирает условия поиска и вводит запрос. После этого запрос ретранслируется указанным поисковым системам. Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает не только за процесс ретрансляции запроса и приема страниц, но и за то, чтобы запрос был передан в правильной кодировке, принятой в каждой из выбранных поисковых систем, иначе будет получен совершено другой набор описаний документов или не будет получен вовсе, что негативно скажется на качестве поиска.

После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу.

Как среди этого множества выбрать именно то, что нужно пользователю?

Стандартный подход, который используется большинством систем метапоиска, состоит в том, чтобы просто расположить полученные ссылки по порядку их следования в результатах поиска каждой из поисковых систем. При этом, если в разных поисковых системах был найден один и тот же сайт, то ценность его для пользователя, естественно, существенно повышается.

Подход, безусловно, правильный, но что делать в том случае, если одна система, к примеру, индексирует динамически генерирующиеся страницы, а другая нет? У них различные множества проиндексированных документов, различная полнота баз, следовательно, запрошенная пользователем информация может быть найдена в одной системе и может быть не найдена в другой. В этом случае пользователь может получить несколько действительно релевантных ссылок от одной системы, которые будут перемешаны с абсолютно нерелевантными из другой (например, в случае, когда фраза целиком не найдена, поиск идет по одному из ключевых слов запроса). В результате, пользователю вручную приходится отбирать релевантные ссылки и велика вероятность того, что помучавшись с перебором ссылок, он попросту уйдет и уже никогда не вернется.

Есть ли какой-либо способ решить эту проблему? Конечно есть. Нужно с полученным от поисковых систем множеством описаний документов сделать то же, что делают они сами с этими документами, то есть определить частоты ключевых слов в каждом заголовке и описании и попытаться самостоятельно определить рейтинг каждого из них.

Именно по такому принципу построены метапоисковые системы, где реализован смешанный алгоритм обработки информации. Обычно разрабатываются специальные программы для анализа полученных данных, благодаря которым на первом этапе происходит ранжирование множества описаний полученных документов, на втором ранг дополнительно корректируется согласно месту, на котором находится документ, и общему количеству документов, найденных по запросу (это позволяет оценить полноту поисковых баз конкретной системы).

Подобная обработка позволяет не только убирать документы, в описании которых вообще нет ключевых слов как потенциально нерелевантные запросу, но и находить строгое соответствие в том случае, если все ключевые слова встречаются в описании документа полностью, что неизмеримо повышает качество и точность поиска.

ЗАКЛЮЧЕНИЕ

Подводя итог, можно сказать, что единой оптимальной схемы поиска в Интернет не существует. В зависимости от специфики необходимой вам информации, для ее поиска вы должны использовать соответствующие поисковые службы. В принципе, конечно, можно всегда пользоваться какой-нибудь одной поисковой системой, например Rambler, но чем грамотнее подобраны поисковые службы и составлен запрос на поиск информации, тем качественнее будут результаты поиска.

Метапоисковые системы облегчают поиск в сети Интернет и избавляют от рутинного поиска с использованием разных поисковых машин. Основная проблема метапоисковых систем – это анализ результата и его сортировка по релевантности.

Список использованной литературы:

Энциклопедия [Электронный ресурс] - http://ru.wikipedia.org
Метапоисковые системы [Электронный ресурс] - http://www.linkclub.ru
Метапоисковые системы [Электронный ресурс] - http://www.vsepoisk.ru
Технология поиска информации в Интернет [Электронный ресурс] - http://www.seonews.ru
Архитектура метапоисковых систем [Электронный ресурс] - http://www.searchengines.ru
Мета-поиск - лучший друг [Электронный ресурс] - http://www.html-books.net
Поисковые системы в сети Интернет [Электронный ресурс] - http://www.html-books.net
Новости высоких технологий [Электронный ресурс] - http://www.marsiada.ru