Информационные поисковые системы интернет
Содержание
Введение
Данная работа посвящена описанию поисковых систем, которые осуществляют поиск информации.
В информационно-поисковой
Во втором случае используются ЭВМ, снабженные специальными программными средствами, анализирующими процессы запросов, поиска и выдачи нужных документов. Таким образом, информационно-поисковые системы (ИПС) реализуют вопросно-ответное отношение, что сближает задачи, стоящие перед создателями таких систем, с теми задачами, которые решают создатели человеко-машинных систем.
Поиск информации является одной из наиболее распространенных и одновременно наиболее сложных задач, с которыми приходится сталкиваться в Сети любому пользователю. Однако если для рядового члена сетевого сообщества знание методов эффективного информационного поиска является желательным, но далеко не обязательным качеством, то для работников высокоинтеллектуальной сферы умение быстро ориентироваться в ресурсах Интернет и находить требуемые источники сегодня относится уже к числу базовых квалификационных навыков.
Цель работы – описать и дать характеристику информационно-поисковым системам.
Данная цель решается с помощью раскрытия следующих основных задач:
1) описать принципы работы
2) дать характеристику
3) описать стратегию и методику профессионального поиска информации.
1. Сущность поисковых машин
Задача поисковых машин - обеспечивать детальное разыскание информации в электронной вселенной, что может быть достигнуто только за счет учета (индексирования) всего содержания максимально возможного числа web-страниц. В отличие от справочников, все они функционируют в автоматизированном режиме и имеют одинаковый принцип действия. Поисковые системы состоят из двух базовых компонентов. Первый компонент представляет собой программу-робот, задача которого путешествовать с сервера на сервер, находить там новые или изменившиеся документы и скачивать их на главный компьютер системы. При этом робот, просматривая содержимое документа, находит новые ссылки, как на другие документы данного сервера, так и на внешние сайты. Программа самостоятельно направляется по указанным ссылкам, находит новые документы и ссылки в них, после чего процесс повторяется вновь, напоминая хорошо известный в библиографии “метод снежного кома”.
Выявленные документы
Выдача результатов осуществляе
Основные параметры поисковых машин
К основным параметрам поисковых систем относятся:
- объем индексных файлов (число проиндексированных серверов и отдельных документов);
- степень оперативности обновления базы данных за счет включения сведений о новых материалах и удаления устаревших;
- возможности для составления запроса;
- интеллектуальность системы ранжирования результатов поиска;
- наличие дополнительных сервисных функций, облегчающих работу пользователя.
Первая величина, являющаяся ключевой, устанавливает широту охвата материала и определяется числом проиндексированных документов. Сейчас эта цифра для лидеров мирового сетевого поиска колеблется в пределах от 1 до 3 с лишним миллиардов.
Учитывая тот факт, что в среднем интернетовский адрес сохраняет актуальность до полугода, после чего документ или меняет местоположение или убирается с сервера, большое значение имеет уровень оперативности обновления данных, характеризующий степень соответствия индексного файла поисковой системы реальному местоположению документов на сайтах. В настоящее время этот параметр колеблется от двух недель до полутора месяцев.
Возможности поискового механизма выражать запрос максимально точно в значительной степени предопределяют долю релевантных документов в перечне полученных результатов. Каждая машина имеет свою собственную лексику, которая по-разному позволяет детализировать поисковое предписание.
Все поисковые машины обладают модулем ранжирования результатов поиска. Создание таких модулей - целая область программирования, в которой конкурируют сложнейшие алгоритмы, созданные разными компаниями. Перечень факторов, принимаемых во внимание при определении места документа в перечне ссылок необычайно широк: от местоположения слова на странице до рейтинга (авторитета) страниц, имеющих ссылки на найденный документ.
Не последнюю роль играет и простота интерфейса, наличие дополнительных сервисных функций, как например, возможность перевода текста документа на иностранный язык, способность выделять все документы с определенного сайта, сужение критериев в ходе поиска, нахождение документов "по образцу" и т.д.
По этим параметрам среди внушительного
числа поисковых систем выделяются
несколько наиболее признанных, позволяющих
выявлять информацию с высокой степенью
полноты и надежности. К наиболее авторитетным
поисковым системам всемирного масштаба
в настоящее время относятся Google,Yahoo!,Bing,Яндекс,
2. Глобальные поисковые системы
2.1. Поисковая система Google
Поисковая система, запущенная в 1998 году и являющаяся ныне единоличным лидером среди глобальных поисковых систем по всем значимым параметрам. Главное достоинство Google - объем его индексного файла, который составляет на сегодня более 3 миллиардов web-страниц и статей из групп новостей по интересам. В сутки программы-роботы системы индексируют порядка трех миллионов новых и обновленных страниц, при том, что актуализация базы производится каждые 28 дней.
Второе несомненное преимущество Google - его способность индексировать документы не только в виде HTML-файлов, но также документы в форматах PDF, RTF, PS, DOC, XLS, PPT, WP5 и ряде других. При этом Google позволяет моментально конвертировать страницы в указанных форматах в обычный HTML-файл, что освобождает пользователя от необходимости иметь специальное программное обеспечение для доступа к файлу.
Следующим важнейшим достоинством является специально разработанный модуль ранжирования результатов - PageRank. Он основан на алгоритме, согласно которому вначале устанавливается структура ссылок во всей Сети, а затем каждая отдельная страница ранжируется в соответствии с числом и значимостью ссылок на нее с других страниц. При этом авторитетность внешних ссылок более важна, чем их количество. Подобный алгоритм позволяет существенно повысить релевантность ссылок в следствии чего Google отличает высокая степень соответствия найденной информации интересам пользователя. Этот результат достигается, в частности, еще и за счет специальной подсистемы защиты пользователя от сайтов, которые продвигаются с помощью различных недобросовестных методов.
Google отличается высокой степенью комфорта для пользователя. Несмотря на то, что это глобальная поисковая система, пользователи из неанглоязычных стран автоматически переадресовываются на интерфейс на их родном языке. Русскоязычный интерфейс, в частности, находится по адресу www.google.com.ru. Длительность процесса в большинстве случаев не превышает одной секунды, несмотря на огромный объем индексного файла системы.
Интерфейс первой страницы Google - на сегодня в Сети у него нет достойных конкурентов.
Методика поиска с помощью Google предельно проста. В поисковую строку водится запрос на естественном языке - неважно на русском, английском или любом другом. Язык запросов не допускает усечения терминов знаком "*", поэтому все возможные варианты слов (library, libraries, librarians) пользователю следует вводить самостоятельно. Все термины запроса по умолчанию объединяются условием AND (И) - перед ними нет нужды ставить знак "+". Таким образом в список результатов попадают лишь страницы, содержащие все введенные ключевые слова. Для поиска по точной фразе традиционно используются кавычки: так запрос "Кто убил кошку у мадам Поласухер?" прямо приведет к ссылке на полный текст "Собачьего сердца" Михаила Булгакова. Поисковый механизм игнорирует стоп-слова (предлоги, союзы, артикли), однако если какое-либо из таких слов существенно перед ним необходимо поставить "+", давая понять системе, что в данном случае термин даже из одной буквы является значимым (например: Александр +I).
Google имеет в своем арсенале множество опций для максимальной конкретизации запроса. Все они доступны через меню Advanced Search "Расширенный поиск". Помимо уже описанных возможностей добавляются фильтры, ограничивающие язык документа, его формат (к примеру, "только документы в PDF"), время опубликования ("последние три месяца"), месту термина в самом документе ("в заголовке страницы") или расположение страницы в определенном домене или даже сайте.
Выдаваемые в результате поиска ссылки на документы, помимо традиционных сведений о заглавии документа, контексте искомых слов и данных о размере содержат функцию Cached "Сохранено", позволяющую полностью восстановить весь документ, если по каким-либо причинам сайт на котором он расположен недоступен. Еще одна функция Similar pages "Похожие страницы" позволяет получить перечень страниц, содержание которых схоже с указанным источником. Это функция, впрочем, пока выполнена без особого успеха.
Помимо поиска текстовых материалов Google обладает лучшими на сегодня возможностями поиска иллюстраций с помощью режима "Поиск изображений" (Images, "Картинки"). В его базе данных учтено более 390 тысяч иллюстраций, разыскание которых ведется аналогично поиску текстовых документов с возможностью ограничения определенным размером, форматом или цветностью графических файлов - все через опцию "Расширенный поиск изображений".
При использовании Google следует, однако, помнить, что при работе с файлами большого объема он индексирует не весь источник, а лишь его первые 101 Кб. (для PDF-файлов лимит ограничен 120 Кб.) поэтому индексация документа пока не всегда гарантирует возможность его нахождения по любому фрагменту текста.
В качестве собственного справочника ресурсов Интернет Google использует усовершенствованный массив Open Directory Project, что порой позволяет сочетать достоинства обоих поисковых инструментов.
Дополнительным платным
2.2. Поисковая система Yahoo!
Yahoo! (произносится как яху!) — американская компания, владеющая второй по популярности (6.35 % ) в мире поисковой системой и предоставляющая ряд сервисов, объединённых интернет-порталом «Yahoo! Directory»; портал включает в себя популярный сервис электронной почты «Yahoo! Mail», один из старейших и наиболее популярных в Интернете. Не так давно была запущена новая версия почтового интерфейса, основанная на AJAX (русскоязычный обзор нового интерфейса).
В январе 1994 года аспиранты Стэнфордского университета Дэвид Файло и Джерри Янг создали веб-сайт, который назывался «Путеводитель Джерри по Всемирной Паутине». «Путеводитель» представлял собой каталог других сайтов.
В апреле 1994 года сайт был переименован в Yahoo!. Существует две версии происхождения названия. Согласно первой, слово было взято из книги Джонатана Свифта «Путешествия Гулливера» (в русском переводе Йеху, еху), где обозначает расу грубых и тупых человекообразных существ. Именно на этой версии настаивают основатели компании. Согласно второй, Yahoo! — акроним, образованный от фразы «Еще один иерархический неотесанный (неофициальный) прорицатель» (англ.Yet Another Hierarchical Officious Oracle). Но есть и третья версия происхождения названия. Вполне возможно, Yahoo произошло от японского Yahhoo, что в переводе означает «Привет» (неформальный вариант). Однако к тому времени Yahoo уже был зарегистрированной торговой маркой соуса для барбекю, поэтому к названию был добавлен восклицательный знак. Янг и Файло быстро оценили коммерческий потенциал проекта и 2 марта 1995 года основали корпорацию Yahoo!
Согласно статистике Alexa Internet, на сегодняшний день Yahoo! — четвертый по посещаемости веб-сайт в сети Интернет, и примерно 28% посещений состоят из просмотра только одной страницы.
2.3. Поисковая система Bing.
Bing — поисковая система,
MSN Search (http://search.msn.com/) — с момента появления и до 11 сентября 2006;
Windows Live Search (http://search.live.com/) — до 21 марта 2007;
Live Search (http://www.live.com/) — до 1 июня 2009.
В настоящее время Bing занимает третье место по счёту самых используемых поисковых систем, в отличии от которых, обладает рядом эксклюзивных возможностей, таких как просмотр результатов поиска на одной странице (вместо пролистывания многочисленных страниц результатов поиска), а также динамическое корректирование объёма информации отображаемой для каждого результата поиска (например, только название, краткая или большая сводка).
В американской версии Bing присутствуют
некоторые интересные
1.ежедневно изменяющиеся темы оформления стартовой страницы с информационными блоками;
2.вывод уточняющих вариантов поисковых запросов по отдельным категориям;
3.видео с автоматически запускающимся предварительным просмотром;
4.дополнительные данные по каждому результату поиска;
5.встроенный сервис для поиска маршрутов (другие специальные поисковые сервисы появятся в скором времени);
6.функции, повышающие удобство в использовании при поиске информации, изображений и видео.
При том, что Bing неплохо ищет по англоязычным ресурсам, для российских пользователей он фактически бесполезен. «Яндекс» и Google дают гораздо более релевантные результаты.
2.4. Поисковая система Яндекс.
Поисковая система "Яндекс" является восьмой среди крупнейших поисковых сайтов мира по количеству обработанных поисковых запросов (1,892 млрд., статистика за декабрь 2009 г.) и первым крупнейшим неанглоязычным поисковым сервером. Ежедневная посещаемость этой поисковой системы – более 9 миллионов человек в сутки (январь 2010). В поисковой системе представлено более 5,4 миллиона сайтов с количеством страниц более 2,5 миллиарда, что составляет более 62 терабайта информации.
Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания "Яндекс" образовался в 2000 году.
"Яндекс" постоянно совершенствует свои поисковые алгоритмы, что позволяет ему соответствовать современным критериям поиска и становиться на уровень Google хотя бы в России. А пока так и есть, если судить по уровню освоения обоих поисковых систем аудиторией СНГ. "Яндекс", как и Google, работает на кластерной системе организации компьютерных вычислительных сетей. Каждый кластер отвечает за определённый сегмент сохранённой информации.
Сканирующие
роботы поисковой системы
1) основной сканирующий робот
2) быстрый робот, который регулярно сканирует сайты, на которых информация обновляется очень часто, и вносит информацию с этих сайтов в поисковую систему, что обеспечивает быстрое обновление индекса поисковой системы.
Обновления (апдейты) поисковой системы бывают 2 видов:
1) Обновления поисковой базы. Происходят несколько раз в месяц. В поиске начинают выдаваться обновлённые страницы сайтов, собранные основным сканирующим роботом.
2) Обновления программной части (движка) поисковой системы. Сутью данных обновлений является изменение алгоритмов ранжирования документов в поисковой системе. Обычно подобные обновления анонсируются и им даются определённые названия.
"Яндекс" учитывает морфологию русского языка (мощная система определения словоформ), имеет возможность сузить запрос до максимально точного при помощи специальных поисковых формул и геотаргетинга, имеет качественно разработанный алгоритм оценки релевантности документов (точность отношения текста документа к поисковому запросу), обладает высокой скоростью реакции на запросы и практическим отсутствием перегрузок серверов.
Совсем недавно (с 2009 года) с вводом нового алгоритма "Снежинск" поисковая система "Яндекс" научилась определять региональную принадлежность сайтов и формировать результаты поиска по географическому расположению пользователя. Сегодня это самый точный географический поисковик Рунета.
Вместе с тем, интернет-портал «Яндекс» представляет собой не только мощную поисковую систему. Под этим брендом собрано множество самых разнообразных сервисов.
Так, с помощью «Яндекса» можно узнать свежие новости («Новости»), пообщаться с друзьями и коллегами («Блоги», «Почта»), заработать («Мой Круг», «Директ», «Рекламная сеть»), продать или приобрести различные товары («Маркет», «Авто»), а также получить море полезной информации (пробки, погода, котировки валют, телепрограмма, афиша). Не менее популярна у русскоязычных пользователей и платежная система «Яндекс Деньги», которая позволяет осуществлять электронные платежи с помощью веб-интерфейса или Интернет-кошелька.
2.5. Поисковая система Рамблер.
Rambler – поисковая система, разработанная в 1996 году. До недавнего времени Rambler был первым по популярности поисковиком Рунета. И хотя сейчас виртуальная пальма первенства «перешла» к Яндексу и Google, Rambler прочно обосновался на ведущих позициях. По оценкам SpyLog на Rambler приходится 20-25% от всех поисковых запросов Рунета.
Название поисковика как нельзя лучше отражает суть деятельности компании («rambler» - по-англ. «бродяга»). Rambler позволяет искать документы на английском, русском, украинском и многих других языках, а при формировании списка к выдаче учитываются не только ключевые запросы, но и их разнообразные словоформы. Полученные в результате поиска данные структурируются по степени соответствия запросу (релевантности) и распределяются по сайтам.
Сравнительно недавно (в начале 2009 г.) разработчики Rambler'а начали внедрение вертикального поиска, в основе которого лежит технология XAG (eXtended AGgregator). Благодаря этой системе, запрашиваемая информация сортируется по темам, а работать с поисковой машиной становится несколько проще. Использование вертикалей поисковиком имеет и еще одно преимущество — при недостатке информации в одном документе, она может дополняться данными из другого. Что очень удобно для «очистки» данных от повторов, спама и так далее. Например, при поиске вакансий по телефонному номеру той или иной компании система определяет ее название. Таким образом, поисковая система Rambler может отслеживать на соответствующих сайтах дублирующиеся объявления, сомнительные вакансии и т.д.
Особенностью поисковой системы является то, что Rambler обслуживает только сайты, находящиеся в следующих доменах первого уровня: Российская Федерация: .ru, .su; Украина: .ua; Белоруссия: .by; Казахстан: .kz; Киргизия: .kg; Узбекистан: .uz; Грузия: .ge.
Вместе с тем, Rambler — это не только поисковая машина. Под эгидой Rambler организовано множество Интернет-проектов, с помощью которых можно узнать новости, посетить наиболее популярные сайты, посмотреть видео, послушать музыку, получить полезную информацию, а также развлечься и познакомиться с интересными людьми. Помимо таких традиционных и знакомых всем функций, как Топ 100, почта, новости и игры, Rambler предлагает и другие сервисы.
2.6. Поисковая система Нигма.
Нигма.РФ – российская интеллектуальная метапоисковая система, первая кластеризующая поисковая система в Рунете. Проект создан при поддержке факультетов ВМиК и психологии МГУ, а также Стэнфордского университета. Название — Nigma (один из родов пауков семейства Dictynidae, en:Nigma) было выбрано по ассоциации со Всемирной паутиной.
Nigma осуществляет поиск как по своему индексу, так и по индексам Google, Yahoo, Bing, Яндекс, Rambler, AltaVista, Aport. По состоянию на 28 февраля 2009 в суммарном индексе всех этих поисковых систем находится более 7 160 000 000 русскоязычных документов.
На основе введённого пользовательского запроса Нигма формирует список документов, разделённых на несколько множеств (кластеров). Пользователь может уточнить в каком множестве продолжить поиск, тем самым улучшив релевантность результатов поиска. Пользователь также может исключить ненужные ему множества сайтов, например, документы, пришедшие с интернет-магазинов (для них формируется специальный кластер). Список кластеров выводится слева от списка результатов поиска. Для каждого кластера указывается образующая его фраза и количество документов в кластере. Пользователь может управлять кластерами при помощи специальных ссылок под списком кластеров.
Используется морфологический модуль для русского языка собственной разработки.
Нигма также может выводить ход решения многих математических задач.
Система позволяет производить поиск по более чем 12000 неорганических реакций.
В ответ на запрос пользователи увидят три самые свежие новости прямо на странице результатов поиска. Разработчики проиндексировали и обработали данные более 3500 rss-лент СМИ и популярных блогов. На сайте также есть форма, через которую пользователи сами могут добавлять новостные ресурсы в индекс поисковой системы. База данных новостей обновляется каждые 5 минут.
Поддерживается орфография на базе словаря, составленного из реальной русской орфографии, которую авторы веб-сайтов используют на своих страницах.
Система предлагает варианты на основе предыдущих запросов пользователей Нигма.РФ.
В улучшенной версии поисковик отвечает на вопросы пользователя до того, как он полностью введёт свой вопрос в строку поиска. Система предлагает варианты заполнения, учитывая популярности предыдущих запросов пользователей. Справа от варианта выдаётся ответ на вопрос.
При выборе нужного варианта в поисковой подсказке пользователь может увидеть определения понятий и слов, которые хочет найти. База данных содержит 340928 определения. Информация берется из Википедии. Предполагается подключение и других источников информации.
2.7. Поисковая система Mail.ru и GoGo.ru.
Mail.ru — крупный коммуникационный
портал российского Интернета.
Его ежемесячная аудитория
В 1998 году программисты, работающие
в петербургском офисе
GoGo.ru – относительно новый и вполне автономный проект от создателей Mail.ru. Несмотря на то, что соответствующий домен был зарегистрирован компанией еще в 2000-м году, работы над созданием поисковика начались только в 2006. Руководство над новым «детищем» Mail.ru доверила организатору поисковой системы Апорт – Михаилу Костину.
Поисковик был запущен в июне 2007 года, и первое время имел небольшой охват и выдавал довольно странные результаты. Однако работа над поисковой системой продолжалась, и к февралю 2008 г. GoGo.ru осуществляла поиск по более чем 2,5 млр. документов, 140 млн. изображений, 2 млн. видео-файлов, и т.д.
Успехи новой поисковой системы были отмечены высшей наградой на выставке SofTool-2007. Именно там, в рамках конкурса «Продукт года», в номинации «Интернет-технологии», GoGo.ru получила первое место.
От остальных поисковых систем GoGo.ru отличается возможностью поиска по русскоязычным видеороликам, WAP-сайтам, анализа базы данных Ответы@Mail.ru, а также набор функций для веб-мастеров и владельцев собственных Интернет-проектов.
В настоящее время, основными видео-хостерами, по материалам которых осуществляет поиск GoGo.ru, являются такие ресурсы, как Video.Mail.ru, RuTube.ru, LiveInternet.ru, Teledu.ru, Smotri.com, Myvi.ru, Video.i.ua и некоторые другие. Кроме того, GoGo.ru может искать видео-ролики по размещенным на YouTube или Metacafe файлам с описанием на русском языке.
Следует отметить, что при поиске роликов в выдаче оказываются не только видео, отвечающее запросу, но и изображения. При этом поисковый бот GoGo.ru имеет встроенный фильтр, позволяющий отделять фотографии от всех остальных картинок.
Высокая эффективность графического поиска в GoGo.ru обеспечивается наличием XML-синдикации с ведущими фотохостерами Рунета.
Заслуживает внимания и обработка поисковой системой разнообразных синонимов. Данной проблеме разработчики GoGo.ru уделяли особое внимание, и в настоящее время проект имеет обширный словарь словоформ и синонимии, пополняющийся в полуавтоматическом режиме.
На данный момент, практически любой веб-мастер или владелец популярного Интернет-ресурса может поставить на своих страницах специальную поисковую форму от GoGo.ru, с помощью которой посетители смогут искать информацию, изображения или видео на сайте и в дебрях World Wide Web.
При этом совершенно бесплатно можно обеспечить удобный поиск по своим страницам или организовать мета-поисковую систему. Главное требование GoGo.ru – не более 10 000 поисковых запросов с одного сайта в сутки.
3. Информационно-поисковая система по законодательству – Garant
Программа Garant содержит в себе все Российское законодательство, а так же бухгалтерские законопроекты и системы налогов и документы для руководителя Менеджера. Все это тоже может пригодиться адвокату. С помощью этой программы юрист сможет быстро отыскать необходимый ему закон или документ, что значительно увеличит его работоспособность.
Эта программа имеет очень хорошо отлаженную поисковую систему, «По реквизитам» и «По ситуации». При использовании поиска «По реквизитам», Garant выдает небольшую табличку, в которой можно указать часть искомого документа, например:
- выбрать тип документа, допустим «кодекс» и программа выдаст все кодексы нашего законодательства;
- выбрать орган, допустим «орган власти города Москвы» и Garant выдаст все документы и законы выпущенные относительного этого органа;
- выбрать раздел документа, допустим «законодательство о приватизации» и программа опять же выдаст все что у нее есть по этому поводу;
- можно просто указать сроки издания закона, например с 1 января 98 года, по 1 февраля 98 года, и все документы выпущенные в этот период предстанут перед вами, а можно просто указать с какого-нибудь определенного числа и по сей день, так же можно указать дату регистрации в министерстве юстиции документа;
- если вам нужно найти какой-нибудь определенный закон или документ, шифр которого вам известен, то можно его набрать и Garant вам тут же его предоставит;
- программа Garant так же позволяет искать документ по контексту, это когда вам известно только несколько слов из закона который вам нужно отыскать или найти все законы содержащие эту фразу;
- так же можно указать статус документа, т. е. можно указать искать во всех документах или в действующих или в уже утративших силу;
- при поиске по контексту можно указать тип поиска, т. е. искать только в названии документа или икать и самом документе.

- Информационные потоки в логистике
- Информационные потоки и документооборот на предприятии
- Информационные потоки и информационная система
- Информационные потоки и информационные системы в логистике предприятия
- Информационные потоки на предприятии
- Информационные потребности студентов
- Информационные предпосылки документирования
- Информационные каналы продвижения продукции
- Информационные корпорации, ведущие свою деятельность на территории Российской федерации
- Информационные логистические системы
- Информационные логистические системы
- Информационные модели городских систем газоснабжения
- Информационные основы вычислительных систем
- Информационные основы ПО ЭВМ