Что такое корпус

Что такое Корпус?

Корпус — это  информационно-справочная система, основанная на собрании текстов на некотором  языке в электронной форме. Национальный корпус представляет данный язык на определенном этапе (или этапах) его существования  и во всём многообразии жанров, стилей, территориальных и социальных вариантов  и т. п.

Национальный корпус создается лингвистами (специалистами  по так называемой корпусной лингвистике, быстро развивающейся современной  области языкознания) для научных  исследований и обучения языку. Большинство  крупных языков мира уже имеет  свои национальные корпуса (различающиеся  по полноте и уровню научной обработки  текстов). Общепризнанным образцом является, в частности, Британский национальный корпус (BNC): на него ориентированы многие другие современные корпуса. Среди  корпусов славянских языков выделяется Чешский национальный корпус, созданный  в Карловом университете Праги.

Национальный корпус имеет две важные особенности. Во-первых, он характеризуется представительностью, или сбалансированным составом текстов. Это означает, что корпус содержит по возможности все типы письменных и устных текстов, представленные в  данном языке (художественные разных жанров, публицистические, учебные, научные, деловые, разговорные, диалектные и т.п.), и  что все эти тексты входят в  корпус по возможности пропорционально  их доле в языке соответствующего периода. Следует иметь в виду, что хорошая представительность достигается только при значительном объеме корпуса (десятки и сотни  миллионов словоупотреблений).Во-вторых, корпус содержит особую дополнительную информацию о свойствах входящих в него текстов (так называемую разметку, или аннотацию). Разметка — главная  характеристика корпуса; она отличает корпус от простых коллекций (или  «библиотек») текстов, в изобилии представленных в современном интернете, в том  числе и на русском языке (таких, как, по-видимому, наиболее известная  «библиотека Максима Мошкова» или, например, «Русская виртуальная библиотека»). В настоящее время специалистами  создана и пополняется также  «Фундаментальная электронная библиотека»  русской классической литературы, ориентированная  на академический режим подачи текстов, максимально точное воспроизведение  авторитетных печатных изданий. Однако такие библиотеки в необработанном виде для научных исследований языка  пригодны очень ограниченно. Не следует  забывать также, что библиотеки создаются  теми, кому интересно в большей  степени содержание текстов, чем  их языковые качества. Для составителей Национального корпуса такие  факторы, как увлекательность или  полезность книги, ее высокие художественные или научные достоинства являются важными, но не первостепенными. Национальный корпус, в отличие от электронной  библиотеки, — это не собрание «интересных» или «полезных» текстов; это собрание текстов, интересных или полезных для  изучения языка. А такими могут оказаться  и роман второстепенного писателя, и запись обычного телефонного разговора, и типовой договор аренды и  т.п. — наряду, конечно, с классическими  произведениями художественной литературы.

Чем богаче и разнообразнее разметка, тем  выше научная и учебная ценность корпуса. В Национальном корпусе  русского языка в настоящее время  используется пять типов разметки: метатекстовая, морфологическая (словоизменительная), синтаксическая, акцентная и семантическая. В ближайшее время планируется  внедрение словообразовательной разметки, а также упрощённой синтаксической разметки в основном корпусе (отличной от той, которая представлена в синтаксическом Глубоко аннотированном корпусе). Система разметки постоянно совершенствуется.

Зачем нужен национальный корпус? 

Национальный корпус предназначен в первую очередь для  обеспечения научных исследований лексики и грамматики языка, а  также тонких, но непрерывных процессов  языковых изменений, происходящих в  языке на протяжении сравнительно небольших  периодов — от одного до двух столетий. Другая задача корпуса — предоставление всевозможных справок, относящихся  к указанным областям (лексика, грамматика, акцентология, история языка). Современные  компьютерные технологии многократно  упрощают и ускоряют процедуры лингвистической  обработки больших массивов текстов. Раньше исследователь мог лишь просматривать  тексты и вручную выписывать из них  нужные примеры; эта предварительная (но абсолютно неизбежная) деятельность была очень трудоемкой и не позволяла  обрабатывать большие массивы материала. Теперь ограничений на объем анализируемого материала и скорость поиска информации в нем по существу нет, а это  означает, что в распоряжении исследователя  оказываются колоссальные массивы  текстов самого разного типа. Это  не замедлило сказаться на развитии наших знаний о языке: возможность  массовой — в том числе статистической — обработки текстов, недоступная  прежде, позволила обнаружить в структуре  и развитии языка такие закономерности, о существовании которых наука  раньше или не подозревала, или лишь смутно догадывалась, но не могла строго обосновать. Теперь подлинно научные  описания грамматического строя  языков, а также авторитетные академические  словари — практически все  без исключений — должны составляться на основе корпусов этих языков. Учет корпусных  данных оказывается крайне желательным (если не строго обязательным) и при  многих других более специальных  научных исследованиях.  

С этой точки зрения основными потребителями национальных корпусов являются, конечно, исследователи-лингвисты  самого разного профиля. Однако круг пользователей корпуса вовсе  не ограничивается профессиональными  исследователями языка. Надежные статистические данные о языке определенной эпохи  или определенного автора могут  интересовать литературоведов, историков  и представителей многих других областей гуманитарного знания. Важное значение национальные корпуса имеют и  для преподавания языка в качестве родного или иностранного; всё  больше учебников и учебных программ в наше время оказываются ориентированы  на корпус. Быстро и эффективно проверить  с помощью корпуса особенности  употребления незнакомого слова  или грамматической формы у авторитетных авторов сможет и иностранец, и  школьник, и учитель, и журналист, и редактор, и писатель. Таким  образом, национальный корпус обращен  ко всем, кто в силу профессии, по необходимости или из простой  любознательности ищет ответ на вопросы  об устройстве и функционировании языка, то есть фактически к большинству  образованных носителей этого языка  и ко всем, изучающим его в качестве иностранного.

В Национальный корпус русского языка включены прежде всего  прозаические оригинальные тексты, представляющие русский литературный язык (с начала XVIII века), но также и (в меньшем объёме) переводные сочинения (параллельно с оригиналом), поэтические тексты, а также тексты, представляющие нелитературные формы современного русского языка: разговорную (записи устной речи, публичной и непубличной), диалектную.

Основной корпус текстов 

Основной корпус — тексты, представляющие русский  литературный язык, — можно подразделить на два главных массива, имеющих  свои особенности: это современные  письменные тексты (середина XX — начало XXI века) и ранние тексты (середина XVIII — середина XX века). По умолчанию поиск по этим массивам ведётся одновременно, задать хронологический диапазон (и иные параметры) можно на странице установки пользовательского подкорпуса.  

Все тексты, входящие в основной корпус, проходят процедуру  метаразметки и морфологической  разметки. Морфологическая разметка осуществляется с помощью специальных  программ автоматического морфологического анализа. В небольшой части основного  корпуса (объемом 6 млн словоупотреблений; в дальнейшем эта цифра будет  увеличена) произведено ручное снятие омонимии и дополнительная коррекция  результатов работы программы автоматического  морфологического анализа. Эта часть  образует так называемый корпус со снятой омонимией, который может  служить удобным полигоном для  тестирования различных программ поиска, морфологического анализа и автоматической обработки текстов, а также для  исследований современной русской  морфологии, требующих повышенной точности поиска. Примеры из этого подкорпуса снабжаются в выдаче пометой [омонимия снята]. Тексты со снятой омонимией  снабжены автоматической (при помощи Грамматического словаря русского языка) акцентуацией. (В версии для  сохранения/печати ударения по умолчанию  сняты).

Современные письменные тексты 

Представительный  корпус современных текстов с  морфологической разметкой является основным и самым объёмным из подкорпусов. В этот корпус входят различные типы текстов, представляющие современный  русский литературный (письменный) язык: 

современная художественная проза разных жанров и направлений 

современная драматургия 

мемуарно-биографическая литература 

журнальная публицистика и литературная критика 

газетная публицистика и новости 

научные, научно-популярные и учебные тексты 

религиозные и религиозно-философские  тексты 

производственно-технические  тексты 

официально-деловые  и юридические тексты 

бытовые тексты (в  том числе тексты, не предназначенные  для публикации: личная переписка, дневники и т.п.) 

Тексты представлены в определенной пропорции, отражающей их долю в общем массиве современных  текстов. Так, доля художественных текстов (включая драматургию и мемуары) составляет не более 40%. 

Источниками текстов, входящих в Корпус, для опубликованных книжных, журнальных и газетных текстов, как правило, являются выверенные электронные  версии, предоставляемые издателями этих текстов (и используемые в Корпусе  с разрешения издателей). 

Ограничить поиск  современными текстами можно по параметру  «дата создания» на странице выбора подкорпуса.

Тексты XVIII—середины XX вв. в Корпусе 

Тексты XVIII—середины XX вв. в Корпусе представляют также различные жанры (художественная литература, научные тексты, частная переписка, публицистика), однако по причине доступности электронных версий и современных переизданий процент художественной литературы для этого периода гораздо выше, чем для второй половины XX в. Тексты, написанные до 1918 г., даются в послереформенной орфографии; те особенности оригинальной орфографии, которые сохраняются в научных переизданиях, сохраняются и в Корпусе. 

Подробнее см.: 

Савчук С. О, Сичинава Д. В. Корпус русских текстов XVIII века в составе НКРЯ: проблемы и перспективы // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009, 52—70. 

Дич Н. Л. О текстах  XIX века в Национальном корпусе русского языка // Национальный корпус русского языка: 2003—2005. М.: Индрик, 2005, 89—93. 

Оскольская С. А. Корпус письменных текстов XIX века: сферы употребления и жанровое разнообразие // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009, 46—51. 

Савчук С. О. Корпус текстов первой половины XX века: текущее состояние и перспективы // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009, 27—45.

Глубоко аннотированный (синтаксический) корпус 

Данный фрагмент Национального корпуса русского языка содержит тексты, снабженные морфо-синтаксической разметкой. Это  значит, что помимо морфологической  информации, приписанной каждому  слову текста, для каждого предложения  задана его синтаксическая структура.  

Синтаксическая структура  предложения, используемая в глубоко  аннотированном корпусе (ГАК), представляет собой дерево зависимостей, в узлах  которого стоят слова предложения, а ветви помечены именами синтаксических отношений. Такое представление  о синтаксической структуре предложения  восходит к лингвистической модели «Смысл ⇔ Текст» И.А.Мельчука и А.К.Жолковского. Окончательный перечень синтаксических отношений, используемых в ГАК, а также целый ряд конкретных лингвистических решений, связанных с представлением синтаксической структуры предложения, был выработан в Лаборатории компьютерной лингвистики Института проблем передачи информации РАН. Силами коллектива этой Лаборатории и составлен ГАК.  

В отличие от морфологически размеченного фрагмента Национального  корпуса русского языка, ГАК целиком  состоит из структур со снятой морфологической  и синтаксической омонимией.  

Подробнее см.: 

Апресян Ю. Д., Богуславский И. М., Иомдин Б. Л. и др. Синтаксически  и семантически аннотированный корпус русского языка: современное состояние  и перспективы // Национальный корпус русского языка: 2003—2005. М.:Индрик, 2005, 193—214.

Газетный корпус (корпус современных СМИ) 

Газетный корпус (корпус современных СМИ) открыт в 2010 г. и охватывает статьи из средств  массовой информации 2000-х годов. Значительные объёмы текстов СМИ, доступные в  электронном виде и предоставляющие  большой интерес для изучения языковых изменений «в режиме реального  времени», не могут быть полностью  включены в основной корпус, поскольку  нарушили бы его репрезентативность, как тематическую, так и хронологическую. Для отдельного газетного корпуса  такого ограничения нет; по объёму он сопоставим с основным. 

В корпус газетных текстов  примерно в равном объёме включены тексты семи СМИ — как печатных газет ("Известия", "Советский  спорт", "Труд", "Комсомольская  правда"), так и электронных  агентств (РИА "Новости", РБК, "Новый  регион"). Предполагается постоянное пополнение корпуса; каждый год выпуска  должен быть представлен одинаковым объёмом текстов в несколько  десятков миллионов словоупотреблений. 

За предоставленные  тексты и помощь в их размещении в составе Корпуса приносим благодарность  компании Corpus Technologies и её сотрудникам Д. Левоняну и С. С. Рубакову, а также программистам Л. А. Алексеевскому и М. С. Кудинову.

Корпус параллельных текстов 

Особым типом корпуса  является так называемый параллельный корпус, в котором тексту на русском  языке сопоставлен перевод этого  текста на другой язык или, наоборот, тексту на иностранном языке сопоставлен  его перевод на русский язык. Между  единицами оригинального и переводного  текста (обычно — между предложениями) с помощью специальной процедуры  устанавливается соответствие; эта  процедура называется выравниванием, а тексты, соответственно, выровненными. 

Выровненный параллельный корпус представляет собой важный инструмент для научных исследований (в том  числе и для исследований по теории и практике перевода); он может также  использоваться при обучении русскому и иностранным языкам. 

В настоящее время  на сайте Национального корпуса  размещены следующие параллельные выровненные корпуса: англо-русский, русско-английский, немецко-русский, пилотные украинско-русский и русско-украинский. 

Подробнее см.: 

Добровольский Д. О., Кретов А. А., Шаров С. А. Корпус параллельных текстов: архитектура и возможности  использования // Национальный корпус русского языка: 2003—2005. М.: Индрик, 2005, 263—296.

Корпус диалектных текстов 

Корпус диалектных текстов (открылся в 2005 г.) включает в  себя записи диалектной речи (в орфографии, приближенной к стандартной) из различных  регионов России. Полностью сохранена  морфологическая, синтаксическая и  лексическая специфика текстов. В подкорпусе имеются специальные  пометы для особенностей диалектной морфологии (в том числе явлений, отсутствующих в литературном языке), кроме того, толкованиями снабжаются чисто диалектные лексемы. 

Подробнее см.: 

Летучий А. Б. Корпус диалектных текстов: задачи и проблемы // Национальный корпус русского языка: 2003—2005. М.: Индрик, 2005, 215—232. 

Летучий А. Б. Диалектный корпус: состав и особенности разметки // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009, с. 114—128.

Корпус поэтических  текстов 

Корпус поэтических  текстов (открылся в 2006 г.) включает стихотворные произведения. Планируемый временной  диапазон — от XVIII в. до современности. В корпус пока не включены стихотворные драматические сочинения. Помимо обычной семантической и морфологической разметки (аналогичной той, что представлена в корпусе с неснятой омонимией), предусмотрена специальная стиховедческая разметка. Так, возможен поиск текстов, написанных амфибрахием, тоническими размерами, 5-стишиями, вольной рифмовкой, твёрдыми формами и т. п. 

Подробнее см.: 

Гришина Е. А., Корчагин К. М., Плунгян В. А., Сичинава Д. В. Поэтический  корпус в рамках НКРЯ: общая структура  и перспективы использования // Национальный корпус русского языка: 2006—2008. Новые  результаты и перспективы. СПб.: Нестор-История, 2009, 71—113.

Обучающий корпус русского языка 

Обучающий корпус русского языка (открылся в 2007 г.) — небольшой  корпус со снятой омонимией, ориентированный  на преподавание русского языка в  школе (отобраны произведения из школьной программы, изучаемых в школьном курсе функциональных стилей, размечены  словоизменительные типы и другие дополнительные морфологические признаки) 

Подробнее см.: 

Савчук С. О, Сичинава Д. В. Обучающий корпус русского языка  и его использование в преподавательской  практике // Национальный корпус русского языка: 2006—2008. Новые результаты и  перспективы. СПб.: Нестор-История, 2009, 317—334.

Корпус устной речи 

Корпус устной речи (как самостоятельный корпус существует с 2007 г.) включает в себя расшифровки  магнитофонных записей публичной  и частной устной речи, а также  транскрипты кинофильмов. Использована русская стандартная орфография (при этом приводятся наиболее частотные и общепринятые стяженные формы). Возможен лексический, морфологический и семантический поиск, а также формирование пользовательских подкорпусов, в том числе и по социологическим параметрам. Включены тексты самых разных жанров и типов, разного происхождения с точки зрения географии (Москва, Санкт-Петербург, Саратов, Ульяновск, Таганрог, Екатеринбург, Норильск, Воронеж, Новосибирск и мн. др.). Хронологический охват корпуса 1900-2000-е гг. 

Подробнее см.: 

Гришина Е. А. Устная речь в Национальном корпусе русского языка // Национальный корпус русского языка: 2003—2005. М.: Индрик, 2005, 94—110. 

Гришина Е. А., Савчук С. О. Корпус устных текстов в НКРЯ: состав и структура // Национальный корпус русского языка: 2006—2008. Новые  результаты и перспективы. СПб.: Нестор-История, 2009, 129—149.

Акцентологический корпус 

Акцентологический корпус (корпус истории русского ударения) (открылся в 2008 г.) включает тексты, несущие  информацию об истории русского ударения. Во-первых, это все тексты поэтического корпуса, где в силлабо-тонических, а отчасти и в чисто тонических, текстах содержится информация (требующая  дополнительной интерпретации) о месте  ударения в слове. Во-вторых, это  акцентуированные (в соответствии с  реально звучащим ударением) записи устной речи, в том числе кинофильмов. Эти тексты доступны для поиска по месту ударения и просодической  структуре слова. 

Подробнее см.: 

Гришина Е. А. Корпус «История русского ударения» // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009, 150—174.

Мультимедийный корпус 

Мультимедийный русский  корпус (МУРКО) (открылся в декабре 2010 г.) включает фрагменты кинофильмов 1930—2000-х годов. Они представлены в виде параллельных видеоряда, аудиоряда  и текстовой расшифровки звучащей речи, а также наблюдаемых в  кадре жестов. В мультимедийном корпусе. Возможен поиск не только по произносимому тексту, но и по жестам (кивание головой, похлопывание по плечу и т. п.) и типу речевого действия (согласие, ирония и т. п.). В поисковой выдаче видеофрагменты доступны для просмотра и прослушивания. 

Подробнее см.: 

Гришина Е. А. Два  новых проекта для Национального  корпуса: мультимедийный подкорпус  и подкорпус названий // Национальный корпус русского языка: 2003—2005. М.: Индрик, 2005, 233—250. 

Гришина Е. А. Мультимедийный русский корпус (МУРКО): проблемы аннотации // Национальный корпус русского языка: 2006—2008. Новые результаты и перспективы. СПб.: Нестор-История, 2009

Морфология

Морфологический стандарт Национального корпуса русского языка 

Представление в  корпусе информации о морфологических  формах и значениях (часть речи, род, падеж, вид…) является самостоятельной  научной проблемой. Решения, принятые в корпусе, в основном опираются  на морфологическую модель, представленную в «Грамматическом словаре русского языка» А. А. Зализняка (М., 1977; 4-е изд., М., 2003).  

Однако специфика  корпуса как универсального средства исследования языка диктует некоторые  особые решения; именно этой спецификой продиктованы все отступления от модели Грамматического словаря, содержащиеся в нашем стандарте.

Структура морфологической  информации 

Морфологическая информация, приписываемая произвольному слову  в тексте, состоит из четырех «полей», или групп помет: 

Лексема, которой  принадлежит словоформа (указывается  «словарная запись» данной лексемы  и ее принадлежность к той или  иной части речи). 

Множество грамматических признаков данной лексемы, или словоклассифицирующие  характеристики (например, род для  существительного, переходность для  глагола). 

Множество грамматических признаков данной словоформы, или  словоизменительные характеристики (например, падеж для существительного, число  для глагола). 

Информация о нестандартности  грамматической формы, орфографических  искажениях и т. п.  

Морфологический разбор (или множество морфологических  разборов), приписанный каждой словоформе в составе поисковой выдачи, высвечивается  в отдельном окне при щелчке на словоформе курсором мыши. 

В основу метаязыка  грамматических помет, ввиду предполагаемой широкой международной аудитории  пользователей Корпуса, положена система  сокращенных помет («тегов») на основе латинского алфавита. В то же время  предусмотрена возможность использования  при поиске традиционных названий категорий  на русском языке (в форме «грамматические  признаки»). 

Ниже приводим инвентарь  всех используемых в корпусе грамматических помет. Для пояснения в скобках  даются примеры.

Части речи

S — существительное (яблоня, лошадь, корпус, вечность)

A — прилагательное (коричневый, таинственный, морской)

NUM — числительное (четыре, десять, много)

A-NUM — числительное-прилагательное (один, седьмой, восьмидесятый)

V — глагол (пользоваться, обрабатывать)

ADV — наречие (сгоряча, очень)

PRAEDIC — предикатив (жаль, хорошо, пора)

PARENTH — вводное слово (кстати, по-моему)

S-PRO — местоимение-существительное (она, что)

A-PRO — местоимение-прилагательное (который, твой)

ADV-PRO — местоименное наречие (где, вот)

PRAEDIC-PRO — местоимение-предикатив (некого, нечего)

PR — предлог (под, напротив)

CONJ — союз (и, чтобы)

PART — частица (бы, же, пусть)

INTJ — междометие (увы, батюшки)

Значения грамматических категорий

Род:

m — мужской род (работник, стол)

f — женский род (работница, табуретка)

m-f — «общий род» (задира, пьяница)

n — средний род (животное, озеро)

Одушевленность:

anim — одушевленность (человек, ангел, утопленник)

inan — неодушевленность (рука, облако, культура)

Число:

sg — единственное число (яблоко, гордость)

pl — множественное число (яблоки, ножницы, детишки)

Падеж:

nom — именительный падеж (голова, сын, степь, сани, который)

gen — родительный падеж (головы, сына, степи, саней, которого)

dat — дательный падеж (голове, сыну, степи, саням, которому)

dat2 — дистрибутивный дательный ([по] многу, нескольку, стольку)

acc — винительный падеж (голову, сына, степь, сани, который/которого)

ins — творительный падеж (головой, сыном, степью, санями, которым)

loc — предложный падеж ([о] голове, сыне, степи, санях, котором)

gen2 — второй родительный падеж (чашка чаю)

acc2 — второй винительный падеж (постричься в монахи; по два человека)

loc2 — второй предложный падеж (в лесу, на оси́)

voc — звательная форма (Господи, Серёж, ребят)

adnum — счётная форма (два часа́, три шара́)

Краткая/полная форма:

brev — краткая форма (высок, нежна, прочны, рад)

plen — полная форма (высокий, нежная, прочные, морской)

Степень сравнения:

comp — сравнительная степень (глубже)

comp2 — форма «по+сравнительная степень» (поглубже)

supr — превосходная степень (глубочайший)

Вид:

pf — совершенный вид (пошёл, встречу)

ipf — несовершенный вид (ходил, встречаю)

Переходность:

intr — непереходность (ходить, вариться)

tran — переходность (вести, варить)

Залог:

act — действительный залог (разрушил, разрушивший)

pass — страдательный залог (только у причастий: разрушаемый, разрушенный)

med — медиальный, или средний залог (глагольные формы на -ся: разрушился и т.п.)

Форма (репрезентация) глагола:

inf — инфинитив (украшать)

partcp — причастие (украшенный)

ger — деепричастие (украшая)

Наклонение:

indic — изъявительное наклонение (украшаю, украшал, украшу)

imper — повелительное наклонение (украшай)

imper2 — форма повелительного наклонения 1 л. мн. ч. на -те (идемте)

Время:

praet — прошедшее время (украшали, украшавший, украсив)

praes — настоящее время (украшаем, украшающий, украшая)

fut — будущее время (украсим)