Системы машинного перевода. 2

МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ

(НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)

ИНСТИТУТ ИНОСТРАННЫХ ЯЗЫКОВ МАИ

РЕФЕРАТ

по дисциплине «Информационные технологии в лингвистике»

на тему: «Системы машинного перевода»

Выполнил:

(Подпись)__________________

Проверил:

________________________

________________________

(Подпись)_________________

_________________________

(Оценка) (Подпись)

«__»_________2011 г.

Москва 2011

Оглавление:

Введение              3

Глава 1Автоматизация лексикографических исследований работ              5

Глава 2 Машинный перевод              7

Глава 3 Системы машинного перевода              10

Глава 4 Сравнение различных типов СМП              21

Заключение              34

Список использованной литературы              36

Введение

Переводом называется процесс и результат создания на основе исходного текста на одном языке равноценного ему в коммуникативном отношении текста на другом языке.

При этом коммуникативная равноценность, или эквивалентность, понимается как такое качество текста перевода, которое позволяет ему выступать

      в процессе общения носителей разных языков;

      в качестве полноправной замены исходного текста (оригинала);

      в сфере действия языка перевода.

Развитие кибернетики сделало возможным машинный перевод, т.е. перевод, строящийся на использовании машиной определенных и постоянных для данного вида материала соответствий между словами и грамматическими явлениями разных языков.

В настоящее время имеется достаточно широкий выбор пакетов программ, облегчающих труд переводчика, которые условно можно подразделить на две основные группы:

      электронные словари (electronic dictionary)

      системы машинного перевода (machine translation system).

Системы машинного перевода (СМП) текстов с одних естественных языков на другие моделируют работу человека-переводчика. Их полезность зависит от того, в какой степени в них учитываются объективные законы языка и мышления. Законы эти пока еще изучены плохо. Поэтому, решая задачу машинного перевода, необходимо учитывать опыт межнационального общения и опыт переводческой деятельности, накопленный человечеством. В процессе перевода в качестве основных единиц смысла выступают не отдельные слова, а фразеологические словосочетания, выражающие понятия. Именно понятия являются элементарными мыслительными образами. Только используя их можно строить более сложные образы, соответствующие переводимому тексту. Обычно сравнивая работу машины и человека приводят следующую характеристику.

В современной лингвистике можно выделить ряд направлений использования компьютера.

Глава 1. Автоматизация лексикографических исследований

С помощью компьютера производится различного рода статистическая обработка языковых единиц. Например, можно указать на работу группы ученых под руководством профессора Г.Г. Силышцкого, занятых корреляционным анализом взаимозависимостей морфологических, синтаксических и семантических характеристик английских глаголов, и шире — корреляцией словообразования с другими языковыми уровнями.

Автоматизация лексикографических работ

Автоматизация лексикографических работ сыграла ключевую роль для создания современных поисковых систем. Изучением этого явления занимается корпусная лингвистика.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов.

Лингвистическим корпусом (фондом) называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

      представлением лингвистических данных в реальном контексте;

Компьютер может выполнять такие задачи, как упорядочение по алфавиту введенных лексических единиц, приписывание каждой из них частоты встречаемости, и многие более сложные работы, на которые лексикографам приходится затрачивать очень много времени.

      достаточно большой представительностью данных (при большом объёме корпуса);

      возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Часто в качестве корпусов сейчас используется выдача поисковых систем или страницы Интернета. Всё большую популярность в научной среде получает использование Википедии — как корпуса текстов.

Автоматический поиск библиографической информации

В таких системах используется информационно-поисковый язык и информационно-поисковый тезаурус.

Информационно-поисковый язык ‑ это искусственный язык разметки, предназначенный для записи семантической информации и последующего использования.

Информационно-поисковый тезаурус ‑ словарь, специально организованный для сопоставления естественного и информационно-поискового языка. Тезаурус содержит список дескрипторов, т.е. лексических единиц информационно-поискового языка. Дескриптор соответствует группе ключевых слов естественного языка. Группе синонимов соответствует один дескриптор, а многозначному слову — группа дескрипторов.

Процедура составления информационно-поискового тезауруса состоит из следующих операций:

      определение тематического охвата тезауруса,

      сбор исходного массива ключевых слов,

      их лексикографическая обработка,

      установление условной эквивалентности между ними,

      отбор на этой основе дескрипторов и установление парадигматических отношений между ними,

      окончательное оформление тезауруса.

Эта работа проводится на лингвистической основе. Так, например, установление условной эквивалентности проверяется по текстам, в которых встречаются ключевые слова. Если замена одного слова другим во всех контекстах не приводит к искажению смысла с точки зрения специалиста, то между словами имеет место условная эквивалентность.

Отчасти системы автоматизированного поиска библиографической информации похожи на обычные поисковые системы. Более того, можно утверждать, что обычные поисковые системы, такие как Google, Яндекс, Bing являются в том числе и системами поиска библиографической информации. Правда использовать их в таком качестве оказывается не очень просто и для эффективного поиска нужна изучать язык запросов каждой из систем.

Глава 2.Машинный перевод

На данный момент выделяют три типа систем машинного перевода.

Полностью автоматические системы машинного перевода являются скорее несбыточной мечтой, чем реальной идей. В этой работе мы их рассматривать не будем. Все системы машинного перевода (MT-системы) работают при участии человека в той или иной мере. TM-системы иногда называют еще «памятью переводчика». Они являются скорее просто удобным инструментом, нежели элементом автоматизации.

Развитие машинного перевода

Впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж (1791-1871), разработавший в 1836-1848 гг. проект цифровой аналитической машины - механического прототипа электронных цифровых вычислительных машин, появившихся через 100 лет. Идея Ч. Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных чисел (по 50 зубчатых колес в каждом регистре) можно использовать для хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для запроса у английского правительства средств, необходимых для физического воплощения аналитической машины, которую ему так и не удалось построить.

Задача аксиоматизации лингвистики была выдвинута одним из виднейших лингвистов московской школы П. С. Кузнецовым как задача формализации грамматики, восходящая к идеям выдающегося русского языковеда Ф. Ф. Фортунатова (1848-1914) Первые эксперименты по машинному переводу, подтвердившие принципиальную возможность его реализации, были проведены в 1954 г. в Джорджтаунском университете (г. Вашингтон, США). Вскоре после этого в промышленно развитых странах мира были начаты исследования и разработки, направленные на создание систем машинного перевода (систем МП). И хотя с тех пор прошло полстолетия, проблема машинного перевода все еще не решена на должном уровне. Она оказалась значительно сложнее, чем это представляли себе пионеры и энтузиасты МП конца пятидесятых ‑ начала шестидесятых годов прошлого века. Поэтому, оценивая сегодняшнюю реальность, уместно говорить и о разочарованиях, и о надеждах в этой области.

В 70-х годах разработку основ технологии машинного перевода продолжила группа специалистов в ВИНИТИ под руководством профессора Г. Г. Белоногова. В результате в 1993 г. была создана промышленная версия системы RETRANS фразеологического машинного перевода с русского языка на английский и обратно, которая применялась в министерствах обороны, путей сообщения, науки и технологий, а также во ВНТИЦ. Практическое применение принципов смыслового анализа текстов потребовалось при создании систем машинного перевода с иероглифических языков (китайского, японского и др.). Вопросы создания таких систем были разработаны в диссертации В. М. Зелко в 80-х годах. Первые коммерческие продукты машинного перевода, нашедшие практическое использование, появились в середине 80-х годов. Они были реализованы на персональных компьютерах и являлись системами прямого перевода, возможности которых базировались на огромных (по сравнению с первыми системами) словарях, а не на умении анализировать и синтезировать тексты.

Глава 3. Системы машинного перевода

Любая СМП в своей работе (на этапе эксплуатации) использует формальные шаги представленные на схеме.

Подходы к машинному переводу

Системы машинного перевода могут использовать метод перевода основанный на лингвистических правилах. Наиболее подходящие слова из исходного языка просто заменяются словами переводного языка.

Часто утверждается, что для успешного решения проблемы машинного перевода, необходимо решить проблему понимания текста на естественном языке.

Как правило, метод перевода основанный на правилах использует символическое представление (посредника), на основе которого создается текст на переводном языке. А если учитывать природу посредника то можно говорить об интерлингвистическом машинном переводе или трансфертном машинном переводе. Эти методы требуют очень больших словарей с морфологической, синтаксической и семантической информацией и большого набора правил.

Если у системы машинного перевода будет достаточное количество данных, то можно получить перевод хорошего качества. Основная трудность заключается в формировании этих данных. Например, большие корпуса текста необходимые для статистических методов перевода, для перевод основанного на грамматике оказываются недостаточными. Более того, для последних, требуется дополнительное задание грамматики.

Для перевода родственных языков (русский, украинский) может оказаться достаточной простая замена слов.

Современные системы машинного перевода делят на три большие группы:

      основанные на правилах;

      основанные на примерах;

      статистические.

Далее мы рассмотрим эту классификацию подробнее.

СМП основанные на правилах

Системы машинного перевода основанные на правилах – общий термин, который обозначает системы машинного перевода на основе лингвистической информации об исходном и переводном языках в основном получены из (двуязычных) словари и грамматики, охватывающих основные семантические, морфологические, синтаксические и закономерности каждого языка. Такой подход к машинному переводу еще называют классическим.

На основе этих данных исходный текст последовательно, по предложениям, преобразуется в текст перевода. Часто, такие системы противопоставляют системам машинного перевода основанных на примерах.

Основной принцип работы таких систем – связь структуры входного и выходного предложения. Перевод при этом получается не особенно хорошего качества. Но на простых примерах работает.

Перевод с английского на немецкий будет выглядеть как:

A girl eats an apple.  Ein Madchen isst einen Apfel.

Эти системы делятся на три группы:

      системы пословного перевода;

      трансфертные системы;

      интерлингвистические;

Пословный перевод

Такие системы используются сейчас крайне редко из-за низкого качества перевода. Слова исходного текста преобразуются (как есть) в слова переводного текста. Часто такое преобразование происходит без лемматизации и морфологического анализа. Это самый простой метод машинного перевода. Он используется для перевода длинных списков слов (например, каталогов). Так же он может быть использован для составления подстрочечника для TM-систем.

Трансфертные системы

Как трансфертные системы так и интерлингвистические имеют одну и ту же общую идею. Для перевода необходимо иметь посредника, которой в себе несет смысл переводимого выражения. В интерлингвистических системах посредник не зависит от пары языков, в то время как в трансфертных – зависит.

Трансфертные системы работают по очень простому принципу: к входному тексту применяются правила, которые ставят в соответствие структуры исходного и переводного языков. Начальный этап работы включает в себя морфологический, синтаксический (а иногда и семантический) анализ текста для создания внутреннего представление. Перевод генерируется из этого представления с использованием двуязычных словарей и грамматических правил. Иногда на основе первичного представления, которое было  получено из исходного текста, строят более «абстрактное» внутренне представление. Это делается для того, чтобы акцентировать места важные для перевода, и отбросить несущественные части текста. При построении текста перевода преобразование уровней внутренних представлений происходит в обратном порядке.

При использовании этой стратегии получается достаточно высокое качество переводов, с точностью в районе 90% (хотя это сильно зависит от языковой пары). Работа любой системы трансфертного перевода состоит как минимум из пяти частей:

      морфологический анализ;

      лексическая категоризация;

      лексический трансфер;

      структурный трансфер;

      морфологическая генерация.

Морфологический анализ. Слова исходного текста классифицируются по частям речи. Выявляются их морфологические признаки. Определяются леммы слов.

Лексические категоризации. В любом тексте некоторые слова могут иметь более чем одно значение, вызывая неоднозначность в анализе. При лексической категоризации выявляется контекст слова. Возможны различного рода пометки и уточнения.

Лексический трансфер. На основе двуязычного словаря происходит перевод лемм слов. Действие очень похоже на пословный перевод.

Структурный трансфер. Слова согласуются в предложении.

Морфологическая генерация. На основе выходных данных структурного трансфера создаются словоформы переводного текста.

Одной из основных особенностей трансфеных систем машинного перевода является этап, во время которого промежуточное представление текста на языке оригинала «передается» в промежуточное представление текста в целевом языке. Это может работать на одном из двух уровней лингвистического анализа, или сразу на обоих.

Уровни:

1.      Поверхностный (синтаксический) трансфер. Этот уровень характеризуется передачей «синтаксических структур» между исходным и переводным языком. Подходит для языков в той же семье или того же типа, например, в романских языков, между итальянским испанским, каталонским, французским, и т.д.

2.      Глубинный (семантический) трансфер. Уровень характеризуется семантическим представлением. Оно зависит от языка оригинала. Это представление может состоять из ряда структур, которые представляют значение. Перевод также обычно требует структурного трансфера. Этот уровень используется для перевода между более отдаленными языками.

Интерлингвистический машинный перевод

Интерлингвистический машинный перевод – один из классических подходов к машинному переводу. Исходный текст трансформируется в абстрактное представление, которое не зависит от языка (в отличие от трансфертного перевода). Переводной текст создается на основе этого представления. Основным преимуществом такого подхода является то, что для добавления нового языка в систему. Можно доказать математически, что в рамках этого подхода, создания каждого нового интерпретатора языка для такой системы будет удешевлять ее, по сравнению, например, с системой трансфертного перевода. Кроме того, в рамках такого подхода можно

      реализовать «пересказ текста», перефразирование исходного текста в рамках одного языка;

      относительно простая реализация перевода сильно отличающихся языков, таких как, например русский и арабский.

Однако, до сих пор не существует реализаций такого подхода, которые бы корректно работали бы хотя бы для двух языков. Многие эксперты высказывают сомнения в возможности такой реализации. Сама большая сложность для создания подобных систем заключается в проектировании межъязыкового представления. Оно должно быть одновременно абстрактным и независящим от конкретных языков, но в тоже время оно должно отражать особенности любого существующего языка. С другой стороны, в рамках искусственного интеллекта, задача выделения смысла текста на данный момент до сих пор не решена.

Впервые интерлингвистический подход был предложен в 17 веке Декартом и Лейбницем, которые предложили универсальные словари, использующие числовые коды. Другие, такие как Кейв Бек, Афанасий Кирхер и Иоганн Иоахим Бехер работали над разработкой однозначного универсального языка, основанного на принципах логики и иконографики.

В 1668 году Джон Уилкинс в трактате «Опыт о Подлинной символике и философском языке» рассказал о своем интерлингва .

В 18 и 19 веков было разработано много универсальных языков, в том числе и Эсперанто. Известно, что идея универсального языка для машинного перевода, никак не проявилась на начальных этапах развития этой технологии. Вместо нее рассматривались только пары языков. Однако, в течение 1950-х и 60-х годов, исследователи в Кембридже возглавляемые Маргарет Мастерман, в Ленинграде во главе с Николаем Андреевым и в Милане  Сильвио Ceccato начали работу в этой области.

В 1970-х и 1980-x годах были сделаны определенные успехи в этой области и был построен ряд систем машинного перевода.

В этом методе перевода, межъязыковое представление можно рассматривать как способ описания анализа текста, на языке оригинала. При этом, в представлении сохраняются морфологические, синтаксические характеристики текста. Предполагается, что таким образом можно передать «смысл» при создании переводного текста.

При этом иногда используется два межъязыковых представления. Одно из них более отражает характеристики исходного языка. Другое – языка перевода. Перевод в данном случае производится в два этапа.

В некоторых случаях используются два и более представления одного уровня (одинаково близкие к обоим языкам), но разнящиеся по тематике. Это необходимо для повышения качества перевода специфических текстов.

Такой подход не нов для лингвистики. Он основан на идеи близости языков. Для улучшения качества перевода, естественный язык используется в качестве моста между двумя другими языками. Например, при переводе с украинского на английский, иногда используется русский язык.

Для использования системы интерлингвистического машинного перевода необходимы:

      словари для анализа и генерации текстов;

      описание грамматик языков;

      база знаний понятий (для создания межъязыкового представления);

      правила проекции понятий для языков и представления.

Самым сложным моментом при создании такого типа является невозможность построить базу для широких областей знаний. А те базы, которые создаются для очень специфичной тематики, обладают высокой вычислительной сложностью.

Системы машинного перевода основанные на примерах

Перевод основанный на примерах – один из подходов к машинному переводу, при котором используется двуязычный корпус текста. Этот корпус текста во время перевода используется как база знаний. Грубо говоря, это перевод по аналогии. Если задуматься о том, как человек переводит, то мы вряд ли придем к выводу, что переводчик осуществляет глубокий лингвистический анализ. Предполагается, что люди разлагают исходный текст на фразы, потом переводят эти фразы, а далее составляют переводной текст из фраз. Причем, перевод фраз обычно происходит по аналогии с предыдущими переводами.

Для построения системы машинного перевода, основанной на примерах  потребуется языковой корпус, составленный из пар предложений.

Например:

Языковые пары — тексты, содержащие предложения на одном языке и соответствующие им предложения на втором, могут быть как вариантами написания двух предложений человеком — носителем двух языков, так и набором предложений и их переводов, выполненных человеком.

Можно заметить, что предложения из примера отличаются только двумя словами. И это можно видеть для обоих языков. В данном случае для перевода нужно знать только три единицы информации:

1.      How much is that X ?  Ano X wa ikura desu ka.

2.      red umbrella  akai kasa

3.      small camera  chiisai kamera

Таким образом, мы получили всего лишь три правила перевода. Важно отметить, что правила перевода используемые в этом методе, отличаются от простых грамматических правил классических методов. В данном случае мы оперируем более высокоуровневыми данными.

Перевод, основанный на примерах, лучше всего подходит для таких явлений как фразовые глаголы. Значения фразовых глаголов сильно зависит от контекста. Фразовые глаголы очень часто встречаются в разговорном английском языке. Они состоят из глагола с предлогом или наречием. Смысл такого выражения невозможно получить из смыслов составляющих частей. Классические методы перевода в данном случае неприменимы.

Этот метод перевода можно использовать для определения контекста предложений.

Двуязычные корпуса текста

Возникает ожидаемый вопрос, где брать такие пары. Примерами двуязычных корпусов текстов можно назвать парламентские отчеты в Канаде, Гонконге и других странах. Тексты представляют собой протоколы дебатов в парламенте. Кроме того, хорошим примером являются официальные документы Европейского экономического сообщества. Они издаются на 11 языках. Организация объединенных наций публикует документы на нескольких языках. Эти материалы оказались очень полезными для машинного перевода.

Статистический машинный перевод

Статистический машинный перевод — это метод машинного перевода. Он использует сравнение больших объёмов языковых пар, так же как и машинный перевод основанный на примерах.

Статистический машинный перевод основан на поиске наиболее вероятного перевода предложения с использованием данных из двуязычных корпусов текстов. В результате при выполнении перевода компьютер не оперирует лингвистическими алгоритмами, а вычисляет вероятность применения того или иного слова или выражения. Слово или последовательность слов, имеющие оптимальную вероятность, считаются наиболее соответствующими переводу исходного текста и подставляются компьютером в получаемый в результате текст.

В статистическом машинном переводе ставится задача не перевода текста, а задача его расшифровки. Мы предполагаем, что статья, написанная на английском языке, на самом деле является статьей написанной на английском, но текст зашифрован (или искажен шумом). При таком подходе становится понятно почему, чем дальше языки, тем лучше работает статистический метод, по сравнению с классическими подходами. Интересно заметить, что на этой же идеи основано исправление опечаток во многих текстовых редакторах. Если говорить совсем точно, то в основе этой идеи лежит модель Шеннона.

Модель Шеннона

Модель состоит из пяти элементов: источника информации, передатчика, канала передачи, приемника и конечной цели, расположенных линейно. Передатчик кодирует информацию, полученную от источника, и передает ее на канал. По каналу передачи, на который действует шум — помехи любого рода, искажающие информацию, данные поступают в приемник, где они декодируется и передаются к конечной цели.

Из-за шума полученная приемником информация в общем случае не совпадает с информацией, отправленной передатчиком. Однако, согласно Шеннону, создавая избыточную информацию, исходные данные можно восстановить со сколь угодно высокой вероятностью. Для обнаружения ошибок используются контрольные суммы, для их исправления — специальные корректирующие коды (при условии, что степень шума не превосходит некоторой границы). Стоит отметить, что любая информация в некотором роде избыточна. Человеческая речь избыточна — чтобы уловить смысл предложения, зачастую необязательно слышать его полностью. Аналогично, письменная речь, тоже избыточна, и при переводе этим можно воспользоваться. Если предложение в целом понятно, но есть несколько незнакомых слов, то не обычно не трудно догадаться об их значении.