Машинный перевод. 2
Министерство образования и науки Российской Федерации
Федеральное агентство по образованию
Уральский Государственный Экономический Университет
Курсовая работа по дисциплине:
«Интеллектуальные информационные системы»
Тема: Машинный перевод
Выполнил: студентка группы ПрИЭ - 07
Проверил: Крылов В.Г.
Каменск – Уральский
Содержание
Введение
1 Машинный перевод……………………………………………………………
1.1 Как формировалась школа машинного перевода………………….
1.2 Классификация систем машинного перевода……………………...
1.3 Как работает машинный переводчик………………………………
2 Система машинного перевода МП PROMT XT………………………………..
2.1 Основные особенности………………………………………………
2.2 Профессиональная система перевода PROMT
Translation Office 2000…………………………………………………..
2.3 Ошибки, возникающие при переводе……………………………...
3 Советы по улучшению качества перевода……………………………………...
Заключение……………………………………………………
Список литературы…………………………………
Введение
Развитие кибернетики сделало возможным машинный перевод, т.е. перевод, строящийся на использовании машиной определенных и постоянных для данного вида материала соответствий между словами и грамматическими явлениями разных языков. В настоящее время имеется достаточно широкий выбор пакетов программ, облегчающих труд переводчика, которые условно можно подразделить на две основные группы: электронные словари и системы машинного перевода. Системы машинного перевода обеспечивают связный перевод текстов, учитывающий морфологические, синтаксические и семантические связи членов предложения. Сегодня программы-переводчики умеют строить осмысленные фразы, и за последние несколько лет качество перевода улучшилось. Однако компьютер еще плохо разбирается в грамматических нюансах, поэтому его главное назначение – переводы деловых бумаг, руководств, писем из электронной почты, Web-страниц.
Настоящую тему исследования можно считать вполне современной, поскольку история развития и внедрения в повседневную жизнь персональных компьютеров насчитывает едва ли более пятнадцати лет. Особую актуальность эта тема приобретает, если учесть тот факт, что именно в настоящее время Россия все более интегрируется в международное сообщество и что, наряду с экономическими и политическими барьерами, препятствуют этому во многом барьеры языковые. Вместе с тем, профессиональных переводчиков, способных и желающих осуществлять подобный процесс коммуникации сообществ во всех сферах науки и культуры, не так много, следствием чего является тот факт, что услуги их недешевы. Поэтому именно сейчас особенно актуален поиск путей максимально автоматизировать процесс перевода, осуществляемого человеком, чтобы, с одной стороны, максимально облегчить нелегкий труд человека-переводчика, а с другой – сделать этот труд максимально эффективным. Осуществить подобное можно, лишь максимально интегрировав усилия специалистов в областях кибернетики, программирования, психологии, а главное – лингвистики.
Цель данной работы – определение того, насколько можно использовать современные программные продукты для осуществления перевода, а также выявление наиболее перспективных, на наш взгляд, направлений исследований в области его автоматизации.
В соответствии с поставленной целью, задачами исследования являются:
- определение максимально эффективного способа организации электронных словарей;
- уяснение различий между разнообразными системами МП и классификации последних;
- анализ работы систем машинного перевода на примере программы PROMT XT.
Объектом исследования данной работы являются машинный перевод.
При написании данной курсовой работы была изучена учебная, научная, справочная и периодическая литература, а также информация в сети Интернет.
Наибольший интерес тема «Машинный перевод» представляет для программистов и инженеров, а также в среде самых разнообразных пользователей, включая лингвистов, переводчиков и специалистов, нуждающихся в оперативном переводе иноязычной информации.
- Машинный перевод
1.1 Как формировалась школа машинного перевода
Датой рождения машинного перевода обычно считают конец 40-х годов. Одним из первых о машинном переводе заговорил Уоррен Вивер, директор отделения естественных наук Рокфеллеровского фонда. В 1949 году он опубликовал документ, который имел весьма громкое название: "Решение мировой проблемы перевода". В 1952 году состоялась первая конференция, на которой обсуждались подходы к созданию систем машинного перевода, а уже в 1954 году компания IBM разработала первую систему, содержавшую словарь из 250 слов и 6 синтаксических правил и обеспечивавшую перевод заранее отобранных предложений. Этот эксперимент дал старт интенсивным десятилетним исследованиям, на которые правительство США истратило почти 40 млн. долл.
Однако в начале 60-х пришлось констатировать, что поставленная задача оказалась слишком сложной и что системы автоматического перевода не смогут в обозримом будущем обеспечить приемлемое качество перевода. Начатые работы не привели к практическим результатам, однако выявили многие проблемы перевода текстов, такие как многозначность слов и синтаксических конструкций, практическая невозможность глобального описания семантической структуры мира даже в ограниченной предметной области, отсутствие эффективных формальных методов описания лингвистических закономерностей и др.
Интерес к системам машинного перевода вновь был проявлен только к 70-м годам, в период интенсивного развития теории искусственного интеллекта и теории "обучения компьютеров пониманию языка", но только в 90-е – благодаря развитию систем искусственного интеллекта, а также персональных компьютеров и появлению реального спроса на машинный перевод – наступило реальное, а главное подкрепленное рыночными интересами возрождение интереса к системам машинного перевода.
После того как машинный
перевод превратился в
На развитие машинного
перевода стали выделяться крупные
суммы. Так, за последние 15 лет только
японские государственные организации
потратили на решение этой проблемы
несколько сотен миллионов долл
В России подобных инвестиций в развитие систем машинного перевода не было, однако отечественным компаниям, прежде всего компаниям PROMT и "Арсеналъ", удалось добиться заметных успехов не только на российском, но и на мировом уровне.
1.2 Классификация систем машинного перевода
С практической точки зрения, имея в виду качество результирующего текста и его соответствие исходному, программы машинного перевода подразделяют на три категории:
- полностью автоматический перевод;
- автоматизированный машинный перевод при участии человека;
- перевод, осуществляемый человеком с использованием компьютера.
Полностью автоматизированный машинный перевод. Этот вид машинного перевода и подразумевается большинством людей, когда они говорят о машинном переводе. Смысл здесь прост: в компьютер вводится текст на одном языке, этот текст обрабатывается и компьютер выводит этот же текст на другом языке. К сожалению, реализация такого вида автоматического перевода сталкивается с определенными препятствиями, которые еще предстоит преодолеть.
Основной проблемой является сложность языка как такового. Возьмем, к примеру, значения слова "can". Помимо основного значения модального вспомогательного глагола, у слова "can" имеется несколько официальных и жаргонных значений в качестве существительного: "банка", "тюрьма". Кроме этого, существует архаичное значение этого слова – "знать или понимать". Если предположить, что у выходного языка для каждого из этих значений имеется отдельное слово, каким образом может компьютер их различить?
Определенные успехи были достигнуты в сфере разработки программ перевода, различающих смысл основываясь на контексте. Более поздние исследования при анализе текстов опираются больше на теории вероятности. Тем не менее, полностью автоматизированный машинный перевод текстов с обширной тематикой все еще является невыполнимой задачей.
Автоматизированный машинный перевод при участии человека. Этот вид машинного перевода теперь вполне осуществим. Говоря о машинном переводе при участии человека, обычно подразумевают редактирование текстов как до, так и после их обработки компьютером. Люди-переводчики изменяют тексты так, чтобы они были понятны машинам. После того, как компьютер сделал перевод, люди снова редактируют грубый машинный перевод, делая текст на выходном языке правильным. Помимо такого порядка работы, существуют системы МП, во время перевода требующие постоянного присутствия человека-переводчика, помогающего компьютеру делать перевод особенно сложных или неоднозначных конструкций.
Экономичность использования машинного перевода с помощью человека – вопрос спорный. Сами программы обычно достаточно дорогостоящи, а для работы некоторых из них требуется специальное оборудование. Предварительному и последующему редактированию необходимо обучаться, да и работа эта не из приятных. Создание и поддержание в рабочем состоянии баз данных слов – процесс трудоемкий и зачастую требует специальных навыков. Однако для организации, переводящей большие объемы текстов в четко-определенной тематической сфере, машинный перевод с помощью человека может оказаться достаточно экономичной альтернативой традиционному человеческому переводу.
Перевод, осуществляемый человеком с использованием компьютера. При этом подходе человек-переводчик ставится в центр процесса перевода, в то время как программа компьютера расценивается в качестве инструмента, делающего процесс перевода более эффективным, а перевод – точным. Это обычные электронные словари, которые обеспечивают перевод требуемого слова, возлагая на человека ответственность за выбор нужного варианта и смысл переведенного текста. Такие словари значительно облегчают процесс перевода, но требуют от пользователя определенного знания языка и затрат времени на его осуществление. И все же сам процесс перевода значительно ускоряется и облегчается.
Среди систем, помогающих переводчику в работе, важнейшее место занимают так называемые системы Translation Memory (TM). Системы ТМ представляют собой интерактивный инструмент для накопления в базе данных пар эквивалентных сегментов текста на языке оригинала и перевода с возможностью их последующего поиска и редактирования. Эти программные продукты не имеют целью применение высокоинтеллектуальных информационных технологий, а наоборот, основаны на использовании творческого потенциала переводчика. Переводчик в процессе работы сам формирует базу данных (или же получает ее от других переводчиков или от заказчика), и чем больше единиц она содержит, тем больше отдача от ее использования.
Системы ТМ позволяют исключить повторный перевод идентичных фрагментов текста. Перевод сегмента осуществляется переводчиком только один раз, а затем каждый следующий сегмент проверяется на совпадение (полное или нечеткое) с базой данных, и, если найден идентичный или похожий сегмент, то он предлагается в качестве варианта перевода.
В настоящее время ведутся разработки по усовершенствованию систем ТМ. Например, ядро системы Transit фирмы Star реализовано на основе технологии нейронных сетей.
Несмотря на широкий ассортимент систем TM, они имеют несколько общих функций:
- Функция сопоставления (Alignment). Одно из преимуществ систем ТМ – это возможность использования уже переведенных материалов по данной тематике. База данных ТМ может быть получена путем посегментного сопоставления файлов оригинала и перевода.
- Наличие фильтров импорта – экспорта. Это свойство обеспечивает совместимость систем ТМ с множеством текстовых процессоров и издательских систем и дает переводчику относительную независимость от заказчика.
- Механизм поиска нечетких или полных совпадений. Именно этот механизм и представляет собой основное достоинство систем ТМ. Если при переводе текста система встречает сегмент, идентичный или близкий к переведенному ранее, то уже переведенный сегмент предлагается переводчику как вариант перевода текущего сегмента, который может быть подкорректирован. Степень нечеткого совпадения задается пользователем.
- Поддержка тематических
- Средства поиска фрагментов текста. Этот инструмент очень удобен при редактировании перевода. Если в процессе работы был найден более удачный вариант перевода какого-либо фрагмента текста, то этот фрагмент может быть найден во всех сегментах ТМ, после чего в сегменты ТМ последовательно вносятся необходимые изменения.
Конечно, как и любой программный продукт, системы ТМ имеют свои достоинства и недостатки, и свою область применения. Однако в отношении систем TM, основным недостатком является их дороговизна.
Особенно удобно использовать системы ТМ при переводе таких документов, как руководства пользователя, инструкции по эксплуатации, конструкторская и деловая документация, каталоги продукции и другой однотипной документации с большим количеством совпадений.
1.3 Как работает машинный переводчик
FAMT- и НАМТ-системы
машинного перевода находятся
в шаге от того, чтобы именоваться системами искусственного интеллекта,
поскольку они уже выполняют отдельные
функции человеческого мозга: в частности,
конструируют текст на выходном языке
на основе входного, пользуясь сводом
определенных правил, заданных в виде
структур данных и алгоритмов.
Алгоритм перевода
– это последовательность однозначно
и строго определенных действий над текстом,
необходимых для нахождения оптимальных
переводных соответствий в данной паре
языков при заданном направлении перевода.
Абсолютно универсальных алгоритмов, конечно, не существует ни для FAMT- и НАМТ-, ни даже для МАНТ-систем, поскольку разные продукты базируются на различных подходах к переводу. Однако некую общую схему составить можно. Следует учитывать, что данная схема является приблизительной, упрощенной, и в рамках каждой процедуры как человеком, так и машиной выполняется целый комплекс разнообразных действий. Поясним ключевые фрагменты.
- Человек вводит текст в компьютер и выполняет ручную настройку: определяет параметры входного и выходного языка, выбирает базовую тематику и терминологические словари для перевода специальной лексики, задает ограничения на перевод встречающихся в тексте имен собственных и т.п.
- Программа выполняет поиск словоформ в словаре входного языка, а также морфологический анализ входной информации. В процессе анализа (по статистической, фразеологической или МТ-технологии) могут быть получены и другие сведения.
- Программа производит поиск соответствий. Сначала выполняется перевод идиом, фразеологических единств и штампов данной предметной области. Затем – определение основных грамматических характеристик остальных элементов входного текста (например, числа существительных, времени глаголов и пр.). Обычно на этом этапе однозначные слова отделяются от многозначных, после чего однозначные слова переводятся по спискам эквивалентов, а для перевода многозначных слов используются специализированные словари. Завершают процедуру лексический анализ входной информации и собственно перевод. На этом этапе в работу некоторых программ может включаться человек, подсказывающий машине внеязыковые нюансы, которые ей непонятны: например, какое именно из нескольких значений слова в данном случае следует выбрать.
- Затем программа выполняет грамматический анализ полученного чернового перевода, в ходе которого с учетом данных выходного языка доопределяется недостающая грамматическая информация (например, выясняется, какое из трех времен русского глагола в данном контексте лучше соответствует «настоящему продолженному» времени глагола английского).
- Выполняется синтез выходных словоформ и текста в целом.
- За работу снова берется человек, который исправляет ошибки и сглаживает недочеты в выполненном машиной переводе.
2 Система машинного перевода МП PROMT XT
Среди современных языковых приложений заметно выделяются продукты компании PROMT — от разнообразных словарей до Web-сервисов. Это дает возможность использовать комплексные дистрибутивы, например PROMT 8.0 Standard. В него помимо словаря PROMT Electronic Dictionary входят переводчик, резидентная система контекстного перевода, утилита для загрузки дополнительных словарей и т.д.
Приложение PROMT Electronic Dictionary
в стандартном англо-русском
2.1 Основные особенности
В основу программных продуктов компании PROMT поставлено решение следующих фундаментальных проблем:
Во-первых, всем ясно, что чем больше словарь, тем лучше перевод, значит, первая проблема – проблема создания больших словарей для систем.
Во-вторых, ясно, что система должна переводить такие предложения: «Привет. Как дела?» Значит, еще одна проблема – научить систему распознавать устойчивые обороты.
В-третьих, понятно, что предложение для перевода пишется по определенным правилам, по определенным правилам переводится, а значит есть еще одна проблема: записать все эти правила в виде программы.
Эти проблемы действительно являются основными при разработке систем машинного перевода, другое дело, что методы их решения известны далеко не всем и отнюдь не так просты, как может показаться.
Методы организации больших баз данных достаточно хорошо разработаны, но для перевода не менее, а может быть, и более важно правильно структурировать информацию, которая приписывается элементу базы, правильно выбрать этот самый элемент. Сколько, например, записей в словаре должно соответствовать обыкновенному русскому слову "программа"? И, вообще, большой словарь – это словарь, который содержит много словарных статей, или словарь, который позволяет распознать много слов из текста? Очевидно, более верно второе. Поэтому для описания и входного, и выходного языка в системе должен существовать некоторый формальный метод описания морфологии, на котором основывается выбор единицы словаря.
Практически во всех системах, которые претендуют на то, чтобы считаться системами перевода, проблема представления морфологических моделей так или иначе решается. Но одни системы могут распознать миллион словоформ при объеме словаря в пятьдесят тысяч словарных статей, а другие при объеме словаря в сто тысяч словарных статей могут распознать именно эти сто тысяч.
В системах семейства PROMT разработано практически уникальное по полноте морфологическое описание для всех языков, с которыми системы умеют обращаться. Оно содержит 800 типов словоизменений для русского языка, более 300 типов, как для немецкого, так и для французского языка, и даже для английского, который не принадлежит к флективным языкам, выделено более 250 типов словоизменений. Множество окончаний для каждого языка хранится в виде древесных структур, что обеспечивает не только эффективный способ хранения, но и эффективный алгоритм морфологического анализа.
Кроме того, используемая модель морфологии позволила разработать экспертную систему для пользователя – создателя словаря. Эта система фактически автоматизирует процедуру выделения основы и определения типа словоизменения при вводе новых словарных статей.
Однако разработка описания морфологии позволяет решить только проблему того, что является заголовком словарной статьи, по которому происходит идентификация единицы текста и единицы словаря. Но ведь идентификация слова из текста со словарной статьей происходит не ради идентификации, как это требуется в спеллерах или электронных словарях, она необходима для выполнения программой собственно процедур перевода. Какая же нужна информация в словарной статье и как должны быть описаны правила перевода для того, чтобы программа переводила?
Во многих системах МП в прошлом словарное описание и описание алгоритмов рассматривались как стороны одной проблемы, но решение искалось в ограничении рассматриваемого мира, либо грамматического, либо семантического. Например, на основе признака "принадлежность к части речи" описывалась грамматика такого типа:
- именная группа - это существительное;
- именная группа - это прилагательное + именная группа;
- глагольная группа - это глагол + именная группа;
- предложение - это именная группа + глагольная группа;
Некоторая часть предложений естественного языка описывается такой грамматикой, но эта часть очень незначительна, и на ее основе нельзя правильно анализировать и переводить хоть сколько-нибудь реальный текст. Но зато можно использовать эффективные методы построения преобразователя по заданной грамматике или, на худой конец, написать программу, которая путем перебора построит древа зависимостей для ограниченного множества предложений. Такие системы точно так же получали определения "экспериментальные".
Системы семейства PROMT – не исключение, поскольку многие специалисты компании PROMT имели опыт работы в такого типа проектах. Однако при разработке систем PROMT впервые был применен фактически революционный подход, который и позволил получить впечатляющие результаты. Системы перевода семейства PROMT – это системы, спроектированные на основе не лингвистических, а кибернетических методов.
Вместо принятого
Кроме того, такой подход дал возможность применения различных формализмов для описания перевода разных уровней. В системах работают и сетевые грамматики, близкие по типу к расширенным сетям переходов, и процедурные алгоритмы заполнения и трансформаций фреймовых структур для анализа сложных предикатов.
Описание лексической единицы в словарной статье, которое фактически не ограничено по размерам и может содержать множество различных признаков, тесно взаимосвязано со структурой алгоритмов системы и структурировано не на основе извечной антитезы синтаксис – семантика, а на основе уровней компонентов текста.
При этом системы могут работать и с не полностью описанными словарными статьями, что является важным моментом при открытии словарей для пользователя, от которого нельзя требовать тонкого обращения с лингвистическим материалом.
Первая система машинного перевода, выпущенная компанией PROMT в 1991 году, переводила с английского языка на русский специализированные тексты по программному обеспечению. Она использовала небольшой словарь – около 17 тыс. слов и выражений, работала в среде ДОС и не имела средств настройки для пользователя. Но уже эта первая система была правильно устроена, и нынешняя технология разработки алгоритмов машинного перевода, применяемая в компании PROMT, не претерпела значительных изменений. Напротив, найденный тогда подход оказался очень плодотворным для самых разных языков.
В системе выделяется уровень лексических единиц, уровень групп, уровень простых предложений и уровень сложных предложений. Все эти процессы связаны и взаимодействуют иерархически в соответствии с иерархией текстовых единиц, обмениваясь синтезируемыми и наследуемыми признаками. Такое устройство алгоритмов позволяет использовать разные формальные методы для описания алгоритмов разных уровней.
Рассмотрим уровень лексических единиц: лексическая единица – это слово или словосочетание, которое является единицей самого низкого уровня. И в случае входного, и в случае выходного языка слово описывается как совокупность основы и окончания. Это обеспечивает возможность, с одной стороны, распознавания входных слов и анализа входной морфологии и, с другой стороны, удобного синтеза выходных слов по их морфологической информации (основа, тип словоизменения и адрес окончания в массиве окончаний этого типа). Таким образом, если ввести правила преобразования входной морфологической информации в выходную морфологическую информацию, осуществляется TRANSFER на морфологическом уровне.
Уровень групп рассматривает структуры более сложные: группы существительных, прилагательных, наречий и сложные глагольные формы. Этот уровень при анализе, основываясь на формальных сетевых грамматиках, умеет соединять группы в синтаксические единицы, каждая из которых характеризуется синтезированной структурной информацией и главным элементом группы. По входной структуре, полученной в терминах непосредственных составляющих, вместе с синтезированными признаками формируется выходная группа как набор лексических единиц со значениями морфологических признаков, которые могут наследоваться исходя из результатов анализа группы. Таким образом, реализуется TRANSFER на уровне групп.
Анализ простых предложений как структур, состоящих из синтаксических единиц, выполняется на основе фреймовых предикатных структур, которые позволяют эффективно выполнять преобразования. Глагол считается для простых предложений главным элементом и его валентности определяют заполнение соответствующего фрейма. Для каждого типа фреймов существует некоторый закон преобразования в выходной фрейм и оформление актантов. Таким образом, осуществляется TRANSFER на уровне предложений. Анализ сложных предложений требуется в случае формирования согласования времен и правильного перевода союзов.
2.2 Профессиональная система перевода PROMT
PROMT Translation Office 2000 – это набор профессиональных инструментов, который в зависимости от вида поставки включает различные пары перевода:
- английский-русский-английский;
- немецкий-русский-немецкий;
- французский-русский-французски
й; - итальянский-русский;
- "Гигант" (включает все вышеперечисленные языковые направления).
В комплектацию дополнительно входят следующие словари:
- ER: Информатика (мини);
- ER,RE,GR,RG,FR,RF: Интернет1.
Основные функции
PROMT обеспечивает
связный перевод текстов с
учетом морфологических,
Система имеет
дружественный интерфейс и
PROMT – модульная система с возможностью выборочной установки необходимых компонентов из восьми доступных, которые предоставляют следующие возможности:
- Машиностроение
- Машиностроение
- Машиностроение в Кузбассе
- Машиностроение в России
- Машиностроительная и металлообрабатывающая промышленность Республики Беларусь
- Машиностроительный комплекс в России
- Машиностроительный комплекс Иркутской области
- Машина Тьюринга и проблемы остановки
- Машини і механізми для обробки та нарізання овочів
- Машинист башенного крана
- Машинная графика в дактилоскопии
- Машинное представление знаний и данных. Методы хранения, поиска и обработки данных, методы естественно-языкового человеко-машинного общен
- Машинное производство
- Машинный перевод