Мировые информационные ресурсы
Введение
Современный этап развития цивилизации
характеризуется переходом
Основные протоколы, используемые в
Интернет, не обеспечены достаточными
встроенными функциями поиска, не говоря
уже о миллионах серверах, находящихся
в ней. Протокол HTTP, используемый в Интернет,
хорош лишь в отношении навигации, которая
рассматривается только как средство
просмотра страниц, но не их поиска. То
же самое относится и к протоколу FTP, который
даже более примитивен, чем HTTP. Из-за быстрого
роста информации, доступной в Сети, навигационные
методы просмотра быстро достигают предела
их функциональных возможностей, не говоря
уже о пределе их эффективности. Не указывая
конкретных цифр, можно сказать, что нужную
информацию уже не представляется возможным
получить сразу, так как в Сети сейчас
находятся миллиарды документов и все
они в распоряжении пользователей Интернет,
к тому же сегодня их количество возрастает.
Количество изменений, которым эта информация
подвергнута, огромно и, самое главное,
они произошли за очень короткий период
времени. Основная проблема заключается
в том, что единой полной функциональной
системы обновления и занесения подобного
объема информации, одновременно доступного
всем пользователям Интернет во всем мире,
никогда не было. Для того, чтобы структурировать
информацию, накопленную в сети Интернет,
и обеспечить ее пользователей удобными
средствами поиска необходимых им данных,
были созданы поисковые системы.
Понятие информационных поисковых систем
Автоматизированная поисковая
система – система, состоящая
из персонала и комплекса средств
автоматизации его
Следовательно, информационно-поисковая
система выполняет следующие
функции:
- хранения больших объемов информации;
- быстрого поиска требуемой информации;
- добавления, удаления и изменения хранимой
информации;
- вывода информации в удобном для человека
виде.
Создание и использование
информационно-поисковой
^
Исторические предпосылки развития
поисковых систем.
Обратимся к истории
возникновения сети Internet, которая была создана в связи
с возникшей необходимостью совместного
использования информационных ресурсов,
распределенных между различными компьютерными
системами. Большинство первых приложений,
включая FTP и электронную почту, были разработаны
исключительно для обмена данными между
хост-компьютерами Internet.
Другие приложения, такие
как Telnet, создавались для того, чтобы
пользователь получил возможность
доступа не только к информации,
но и к рабочим ресурсам удаленной
системы. По мере развития Internet (увеличения пользователей
и хост-компьютеров) прежние методы обмена
данными перестали отвечать возросшим
потребностям пользователей. Возникла
необходимость разработки новых способов
поиска сетевых ресурсов и доступа к ним,
которые позволяли бы использовать информацию
независимо от ее формата и расположения.
Для удовлетворения таких потребностей
сначала были созданы поисковая система
Archie, решающая задачу локализации ресурсов
на FTP-сервере, и система Gopher, упрощающая
доступ к различным сетевым ресурсам.
Затем были разработаны сетевые информационные
системы WWW и WAIS, предлагающие абсолютно
новые методы получения информации. Принципы
работы этих систем позволяют легко ориентироваться
в огромном количестве информационных
ресурсов без необходимости предоставления
механизмов работы самой сети Internet. Такой
подход позволяет говорить уже не просто
о ресурсах взаимосвязанных компьютерных
систем, а об особых информационных пространствах
сети.
Система Archie представляет собой комплекс программных
средств, работающих со специальными базами
данных. В этих базах данных содержится
постоянно пополняющаяся информация о
файлах, к которым можно получить доступ
через сервис FTP. Пользуясь услугами системы
Archie, можно осуществить поиск файла по
шаблону его имени. При этом пользователь
получит список файлов с точным указанием
места их хранения в сети, а также с информацией
о типе, времени создания и размере файлов.
Доступ к информационно-поисковой системе
Archie может осуществляться различными
путями, начиная от запросов по электронной
почте и с помощью сервиса Telnet и заканчивая
использованием графических Archie-клиентов.
Система Gopher была разработана для упрощения процесса
локализации FTP-ресурсов Internet и для более
удобного представления сведений о содержании
хранящихся на FTP-серверах файлов. Система
Gopher дает возможность в удобной форме
(в виде меню) представлять пользователям
об имеющихся файлах и их содержании. Меню
Gopher-серверов могут содержать ссылки на
другие Gopher- и FTP-серверы. Таким образом,
пользователь получает возможность “путешествовать”
по Internet, не обращая внимания на местонахождение
интересующих его ресурсов, и получать
доступ к этим ресурсам.
Система Veronica используется для поиска информации
в Gopher-пространстве по заголовкам пунктов
меню. После ввода ключевого слова, система
Veronica выясняет, встречается ли оно в меню
на каком-либо Gopher-сервере, и в качестве
результатов поиска выдает список заголовков
пунктов меню, содержащих ключевое слово.
Поскольку система Veronica не является автономной
поисковой программой, а тесно связана
с системой Gopher, она обладает тем же, что
и система Gopher, недостатком: далеко не
всегда по заголовку можно сказать, что
собой представляет тот или иной информационный
ресурс. Достоинства системы заключается
в том, что нет необходимости узнавать,
где расположена найденная информация,
достаточно выбрать требуемую запись
из списка.
Особенности поисковых систем.
В работе поисковый процесс
представлен четырьмя стадиями: формулировка
(происходит до начала поиска); действие (начинающийся
поиск); обзор результатов (результат,
который пользователь видит после поиска);
и усовершенствование (после обзора результатов
и перед возвращением к поиску с иной формулировкой
той же потребности). Более удобная нелинейная
схема поиска информации состоит из следующих
этапов:
- Фиксация информационной потребности на естественном языке;
- Выбор поисковых сервисов сети и формализация записи информационной потребности на конкретных информационно-поисковых языках;
- Выполнение созданных запросов;
- Предварительная обработка полученных списков ссылок на документы;
- Обращение по выбранным адресам за искомыми документами;
- Предварительный просмотр содержимого найденных документов;
- Сохранение подходящих документов для последующего изучения;
- Извлечение из релевантных документов ссылок для расширения запроса;
- Изучение всего массива сохраненных документов;
- Если информационная потребность не полностью удовлетворена, то возврат к первому этапу.
Процесс поиска имеет чрезвычайно
глубокий дидактический аспект – так,
установлено что применение диалоговых
информационных систем приводит к формированию
у рядовых пользователей такого стиля
информационно-поисковой деятельности,
который обычно свойственен наиболее
выдающимся ученым.
Для уменьшения объема рассматриваемых
материалов следует также осуществить
фильтрацию результатов поиска по типу
источников. Так очевидно, что документы,
расположенные на научных сайтах,
на коммерческих, или на серверах СМИ
будут существенно различаться
по своему характеру.
^
Структура работы поисковых систем
Работа поискового указателя
происходит в три этапа, из которых
два первых являются подготовительными
и незаметны для пользователя. Сначала
поисковый указатель собирает информацию
из World Wide Web. Для этого используют специальные программы,
аналогичные браузеры. Они способны скопировать
заданную Web-страницу на сервер поискового
указателя, просмотреть ее, найти все гиперссылки,
которые на ней имеют те ресурсы, найденные
там, снова разыскать имеющиеся в них гиперссылки.
Подобные программы называют червяками, пауками, гусеницами,
краулерами, спайдерами и другими подобными именами. Каждый
поисковый указатель эксплуатирует для
этой цели свою уникальную программу,
которую нередко сам и разрабатывает.
Многие современные поисковые системы
родились из экспериментальных проектов,
связанных с разработкой и внедрением
автоматических программ, занимающихся
мониторингом Сети. Теоретически, при
удачном входе спайдер способен прочесать все Web-пространство
за одно погружение, но на это надо очень
много времени, а ему еще необходимо периодически
возвращаться к ранее посещенным ресурсам,
чтобы контролировать происходящие там
изменения и выявлять «мертвые» ссылки,
т. е. потерявшие актуальность.
После копирования разысканных Web-ресурсов
на сервер поисковой системы начинается
второй этап работы — индексация. В ходе
индексации создаются специальные базы
данных, с помощью которых можно установить,
где и когда в Интернете встречалось, то
или иное слово. Считайте, что индексированная
база данных — это своего рода словарь.
Она необходима для того, чтобы поисковая
система могла очень быстро отвечать на
запросы пользователей. Современные системы
способны выдавать ответы за доли секунды,
но если не подготовить индексы заранее,
то обработка одного запроса будет продолжаться
часами.
На третьем этапе происходит
обработка запроса клиента и
выдача ему результатов поиска в
виде списка гиперссылок. Допустим, клиент
хочет узнать, где в Интернете
имеются Web-страницы, на которых упоминается
известный голландский механик, оптик
и математик Христиан Гюйгенс. Он вводит
слово Гюйгенс в поле набора ключевых
слов и нажимает кнопку «Найти» (Search). По
своим базам указателей поисковая система
в доли секунды разыскивает подходящие
Web-ресурсы и формирует страницу результатов
поиска, на которой рекомендации представлены
в виде гиперссылок. Далее клиент может
пользоваться этими ссылками для перехода
к интересующим его ресурсам.
Все это выглядит достаточно просто,
но на самом деле здесь есть проблемы.
Основная проблема современного Интернета
связана с изобилием Web-страниц. Достаточно
ввести в поле поиска такое простое слово,
как, например, футбол, и российская поисковая
система выдаст несколько тысяч ссылок,
сгруппировав их по 10-20 штук на отображаемой
странице.
Впрочем, для рядового потребителя
совершенно все равно, выдадут ему
тысячу результатов поиска или миллион.
Как правило, клиенты просматривают
не более 50 ссылок, стоящих первыми, и что
там делается дальше, мало кого беспокоит.
Однако клиентов очень и очень беспокоит
качество самых первых ссылок. Клиенты не любят, когда в первом
десятке встречаются ссылки, утратившие
актуальность, их раздражает, когда подряд
идут ссылки на соседние файлы одного
и того же сервера. Самый же плохой вариант
— когда подряд идут несколько ссылок,
ведущих к одному и тому же ресурсу, но
находящемуся на разных серверах.
Клиент вправе ожидать, что самыми
первыми будут стоять наиболее полезные
ссылки. Вот здесь и возникает
проблема. Человек легко отличает
полезный ресурс от бесполезного, но как
объяснить это программе? Поэтому лучшие
поисковые системы проявляют чудеса искусственного
интеллекта в попытке отсортировать найденные
ссылки по качественности их ресурсов.
И делать это они должны быстро — клиент
не любит ждать.
Все поисковые системы черпают
исходную информацию из одного и того
же Web-пространства, поэтому исходные
базы данных у них могут быть относительно
похожи. И лишь на третьем этапе,
при выдаче результатов поиска, каждая
поисковая система начинает проявлять
свои лучшие (или худшие) индивидуальные
черты. Операция сортировки полученных
результатов называется ранжированием. Каждой найденной Web-странице система
присваивает какой-то рейтинг, который
должен отражать качество материала. Но
качество — понятие субъективное, а программе
нужны объективные критерии, которые можно
выразить числами, пригодными для сравнения.
Высокие рейтинги получают Web-страницы,
у которых ключевое слово, использованное
в, запросе, входит в заголовок. Уровень
рейтинга повышается, если это слово встречается
на Web-странице несколько раз, но не слишком
часто. Благоприятно влияет на рейтинг
вхождение нужного слова в первые 5-6 абзацев
текста — они считаются самыми важными
при индексации. По этой причине опытные
Web-мастера избегают давать в начале своих
страниц таблицы. Для поисковой системы
каждая ячейка таблицы выглядит, как абзац,
и потому содержательный основной текст
как бы далеко отодвигается назад (хотя
на экране это и не заметно) и перестает
играть решающую роль для поисковой системы.
Очень хорошо, если ключевые слова, использованные
в запросе, входят в альтернативный
текст, сопровождающий иллюстрации. Для
поисковой системы это верный признак
того, что данная страница точно соответствует
запросу. Еще одним признаком качества
Web-страницы является тот факт, что на нее
есть ссылки с каких-то других Web-страниц.
Чем их больше, тем лучше. Значит, эта Web-страница
популярна и обладает высоким показателем
цитирования.Самые совершенные поисковые
системы следят за уровнем цитирования
зарегистрированных ими Web-страниц и учитывают
его при ранжировании.
Виды поисковых систем в России
Из поисковых указателей
в России сегодня действуют три
«кита». Это «Рамблер» (www.rambler.ru), «Яндекс»
(www.yandex.ru) и «Мэйл» (www.mail.ru).
История развития и становления поисковой
системы «Рамблер» берет начало в подмосковном
городе Пущино. В 1991 году там появилась
группа единомышленников вдохновленных
идей только зарождающегося интернета.
Дмитрий Крюков, Сергей Лысаков, Виктор
Воронков, Владимир Самойлов, Юрий Ершов
- это имена создателей Поисковой системы,
которая в дальнейшем получит название
Rambler. Один из основателей Сергей Лысаков
при помощи своей компании "Стек"
занялся локальными сетями и подключением
к Интернету. Они сами создали внутри города
сеть и подключили ее к Москве, а уже через
Москву к мировому Интернету, присоединившись
так же к сети Курчатовского института
атомной энергии. И уже на следующий 1992
год компания запустила свои собственные
ftp и mail серверы, а двумя годами позже в
1994, свой первый www сервер. Самый продуктивный
и "ключевой" год для российского
Рунета 1996 год ознаменовался для основателей
тем, что было принято решение по разработке
первой русской поисковой системы для
Интернета. Придумав название Rambler, к осени
1996 года был создан окончательный вариант
поисковика, а 26 сентября зарегистрирован
домен с названием rambler.ru. В начале 1997 года
стартовал Ramblers Top100-рейтинг классификатор,
который в некоторой степени явился переломным
моментом в истории Рунета. С возникновением
такого универсального рейтинга и счетчика,
каждый вебмастер старался занять как
можно более высокую позицию в рейтинге,
что в свою очередь позволило Rambler-у окрепнуть
и укорениться в сознании пользователей
и вебмастеров. В середине 2003 года компания
запустила обновленную версию Поисковой
системы, которая отличалась от предыдущей
по нескольким параметрам в частности
поисковый индекс стал обновляться по
нескольку раз в день, появилась возможность
находить самые свежие документы в том
числе и последние новости. Появился механизм
ассоциаций, позволивший точнее формулировать
свой запрос пользователям. Изменения
так же коснулись и почтового сервиса
и защиты данных. 2004 год ознаменовался
тем, что был запущен проект Rambler Vision -это
интерактивный мультимедийный портал
в Рунете. В этом же году Rambler стал обладателем
ряда наград, премий и дипломов. Следующий
2005 год стал для Rambler-а стал удачным в плане
сотрудничества с новыми компаниями. Появилась
Rambler ICQ. В 2006 году компания Rambler получает
титул "супербренда" и одной из самых
узнаваемых торговых марок России. В этом
же году празднуется юбилей десятилетия
компании Rambler.2007 год для компании стал
годом совершенствования и ростом серьезных
партнерских отношений с другими компаниями,
благодаря чему были существенно развиты
сервисы и материалы портала. В этом же
году компания Rambler становится основным
акционером сервиса контекстной рекламы
"Бегун".К 2008 году компания Rambler продолжает
четко следовать выбранному направлению,
развивая при этом выбранные приоритетные
направления, которые обозначены как:
"Поиск, коммуникации, медиа и развлечения".
Одна из самых крупнейших
на сегодняшний день поисковых систем интернета Яндекс берет начало еще в
1990 года, когда была разработана программа
поискового обеспечения в компании "Аркадия".
За более чем два года работы были созданы
две Поисковые системы "Международная
классификация изобретений" и "Классификатор
товаров и услуг". Каждая из систем работала
локально под DOS, что позволяло производить
поиск из заданного словаря со стандартными
логическими операторами. 1993 г. Компания
"Аркадия" преобразовалась в подразделение
компании CompTek. В период с 93-94 годов технологии
программного обеспечения были значительно
улучшены благодаря сотрудничеству с
лабораторией Ю.Д. Апресяна (Институт проблем
передачи информации РАН). Словарь, предоставляющий
базу для поиска с учетом морфологии языка
стал занимать всего 300 Кб, и мог полностью
загружаться в оперативную память, что
в свою очередь существенно ускоряло его
работу. А это благоприятно сказывалось
на пользователях, которые получили возможность
задавать любые формы слов. 1996 г. Разработан
алгоритм "построения гипотез". Это
позволило морфологическому разбору дистанцироваться
от словаря, что дало возможность производить
поиск по наиболее похожим словам и словосочетаниям
и строить свою модель словоизменения.
В том же году стало достаточно понятно,
что компания CompTek способна создать свою
глобальную Поисковую систему Интернета.
А так как Интернет только зарождался,
то объем информации по Рунету составлял
всего несколько Гигабайт. Так осенью
1997 г. появилась компания- Поисковая система
Yandex.ru. Представление Яндекса было на выставке
Softool. Что же отличало эту поисковую систему
от других? Прежде всего, это использование
морфологии русского языка в ядре поисковой
системы, а также проверка документа или
страницы на уникальность. В данное время
Поисковая система Яндекс это одна из
крупнейших поисковых систем Рунета и
можно сказать это лидер в области Поисковых
запросов и предоставляемых сервисов.
Сейчас поиск производится на более чем
4 млрд. страницах. Достаточно высокая
релевантность поисковой выдачи, а так
же расширенные возможности поиска информации
дают возможность на дальнейшее развитие
и процветание этой поисковой системы.
Mail.ru представляет собой
прекрасно организованный и
Поисковая система Google
Одна из самых крупнейших
Поисковых систем Интернета Google была
основана двумя аспирантами Стенфордского
университета Лари Пейджем (Larry Page) и Сергеем
Брином (Sergey Brin) основной работой которых
была поиск необходимой информации в массивах
данных. В 1996 г. они начали сотрудничество
с поисковым сервером "BackRub" принцип
работы которой основывался на определении
количества обратных ссылок (back link). То
есть формула высчитывала количество
обратных ссылок на сайт с мыслью о том,
что на интересный сайт ссылок будет больше,
чем на скучный и не привлекательный.В
сентябре 1998г. Собрав необходимое количество
средств Брин и Пейдж регистрируют компанию
Google в качестве поисковой системы как
юридическое лицо. В свое предварительной
версии (бета версия) поисковик Google обрабатывал
около 10 000 запросов ежедневно, демонстрирую
при этом достаточно высокую релевантность
поисковым запросам. Это позволило Поисковой
системе Google в дальнейшем развиваться
с очень большой скоростью. К февралю 1999
года объем ежедневных запросов вырастает
до 500 000 в день, что привлекает внимание
одной из крупнейших компаний AOLNetscape выбрав
Google свои поисковым сервером после чего
постоянно растущий объем запросов вырастает
до 3 млн. в день а к июню того же года Google
объявляет о сотрудничестве с Yahoo что в
результате приводит к цифре 18 млн. запросов
в день. И наконец к концу 2000 года эту цифра
возрастает до 100 млн. запросов. К компании
Google можно применить три слагаемых успеха,
которые помогли и помогают держать топовые
позиции:
- Очень высокая релевантность
выдачи к поисковому запросу,
это достигается путем того
что в отличии от многих
поисковых систем Google не использует механизмы мета поиска.
Это достигается анализом каждой страницы
с учетом расположения на ней элементов.
- Достаточно удобный и дружественный
интерфейс настроенный для удобства пользователей
только на поисковую тематику не навязчиво
предлагающий так же и другие сервисы,
которых очень много.
- Некоммерческая направленность проекта.
С самого начала создания этой поисковой
системы интернета была цель создания
бесконечно огромной базы данных для поиска.
То есть можно сказать что в целом мечта
изначально была утопической. С августа
2004 года компания Google стала публичной
выйдя на фондовый рынок со своими акциями
(IPO). Продав около 20 млн. акций на общую
сумму 1,67 млрд. долларов. Однако было продано
далеко не все количество акций. Оставив
себе большую честь компания Google может
распоряжаться ими по своему усмотрению.
Для более удобной работы с Поисковой
системой, Google постоянно создает все новые
сервисы и плагины. Вот некоторые из них:
- Google toolbar для IE. Это навигационная панель интегрируемая в Интернет браузер Internet explorer, который упрощает работу пользователя.
- Google maps. Сервис предоставляющий спутниковые снимки земли, а так же луны. Достаточно хорошее качество изображения.
- Google talk. Интернет пейджер и Интернет телефон. И еще очень много различных сервисов.
По аналогии с другими
компаниями развитие не может происходить
без каких либо скандалов и
трений. Но такова природа каждого
развития, и компания Google не исключение
из общего числа. В начале 2004 года адвокаты
компании Google отправили письмо с требованием закрыть
пародийный поиск "для взрослых"
Booble. Летом того же года бывший операционный
директор Google Брайан Рид был отстранен
от должности в связи с возрастными ограничениями,
так как политика компании заключается
в молодости и энергичности. Потеряв работу
бывший операционный директор подал на
компанию в суд с требованием возместить
утраченный доход и накопления в виде
опционов. В том же году развивающийся
сервис Gmail столкнулся с претензией на
собственное имя, так как этот бренд уже
использовался одной английской фирмой
на протяжении более 2 лет. И в том же году
родственники американского математика
Эдварда Казнера предоставили иск на название
googol (число означающее единицу со ста нулями),
который он придумал (в основе названия
Google обозначается именно этот термин).
В данное время Поисковая система Google
ежедневно регистрирует до 50 млн. поисковых
запросов ежедневно и индексирует более
8 млрд. Интернет страниц. Информация выдается
на 101 языке мира. На период 2004 года, компания
состояла из 132 000 машин расположенных
в разных точках планеты.
Заключение
Считается, что идеальная поисковая
машина должна отвечать следующим требованиям:
- простота в использовании
- чётко организованный и обновляемый индекс.
- быстрый поиск в базе данных и быстрое реагирование.
- надёжность и точность результатов поиска.
Масштабы информационных
ресурсов и их количество постоянно
расширяется. Становится ясно, что база
данных не является совершенной. Интеллектуальные
агенты – новое направление лежащее в основе нового поколения
поисковых машин, которые могут фильтровать
информацию и получать более точный результат.
Internet продолжает развиваться с неослабевающей
интенсивностью, по сути дела стирая ограничение
на распространение и получение информации
в мире. Однако в этом информационном океане
бывает не очень легко найти необходимый
документ следует также иметь в виду, что
в сети наряду с давно действующими серверами
возникают новые. Поисковые системы Интернета,
пожалуй один из способов двигаться вперед
по направлению развития и совершенствования.
Развиваясь сами Поисковые системы развивают
все остальное вокруг себя выгодно принуждая
совершенствовать качество самого Интернета
а так же технологий связанных с этим.
Как и во всех других отраслях, в Интернете
существуют свои лидеры, которые прошли
испытание временем и добились каких либо
значимых результатов, что в свою очередь
позволило занять определенные ниши и
позиции в мировой паутине. Поисковые
системы Интернета словно огромные столпы
на которых держится весь процесс движения.
Конечно, много может быть несовершенно
как в поиске так и в технологиях, и в наши
дни несмотря на то что уже достаточная
доля Интернет трафика имеет свои предпочтения
все же в Интернете появляются новые поисковые
системы, которые к сожалению так и остаются
неизвестными.
Имеется ли альтернатива для Поисковых систем Интернета? На этот вопрос однозначно ответить пожалуй не получится, так же как не получится ответить на вопрос имеется ли альтернатива автотранспорту. Возможно и есть и в случае приложения каких либо умственных усилий в поисках альтернативного направления Поисковым системам можно создать нечто новое, однако стоит ли изобретать колесо повторно... Конечно, в том виде, в котором существуют Поисковые системы сейчас в Интернете долго продержаться не смогут, так как подгоняемый технологическим процессом Интернет заставляет считаться с нововведениями и отставание от этого может пагубно отразиться на Поисковых системах, поэтому происходит постоянное совершенствование и развитие как сами Поисковых систем так и всех остальных участников Интернета.