Сравнительный анализ программ машинного перевода
Оглавление
1.Введение....................
2.История развития машинного перевода
..............................
3.Механизм машинного перевода ..............................
4.Машинный перевод: миф или реальность
..............................
5. Сравнительный анализ программ машинного перевода.……….......25
6.Заключение ..............................
7.Список используемой
литературы ..............................
Введение
Современный мир предъявляет повышенные требования к человечеству в связи с образованием единого информационного пространства. Отсутствие знания иностранного языка больше не является препятствием для международной коммуникации. Благодаря повсеместному распространению доступа к сети интернет роль перевода в жизни человечества неуклонно возрастает, в связи с тем, что в настоящее время почти все сферы человеческой деятельности сталкиваются с необходимостью перевода. Переводу с одного языка на другой подвергаются деловая и личная корреспонденция, художественные произведения, стихи, проза, тексты песен, научные книги, дипломатические документы, газетные материалы, интервью и т.д. Привлечение профессионального переводчика не во всех сферах повседневной жизни является целесообразной мерой. Поэтому появление машинного перевода на фоне развития компьютерных технологий было закономерным процессом.
Также следует отметить, что сфера машинного (автоматизированного) перевода привлекала внимание многих ученых-лингвистов таких как Ревзин И.И., Розенцвейг В.Ю1., Панов Д.Ю., а также специалистов в сфере компьютерных технологий. Несмотря на то, что по теории машинного перевода написано большое количество книг и сборников статей, по сей день в данной теме остается множество белых пятен.
Стремление автоматизировать процесс перевода вполне естественно, а проблемы машинного перевода являются очень актуальными и не потеряют этой актуальности в будущем.
Целью данной курсовой работы
является выявить необходимость
развития машинного перевода, оценить
эффективность использования
В соответствии с целью были поставлены следующие задачи:
- Проследить динамику и направление развития машинного перевода в историческом контексте.
- Выявить особенности механизма реализации машинного перевода.
- Оценить эффективность использования современных программ машинного перевода.
В курсовой работе приведены материалы научных статей и монографий, также широко использовались материалы Internet.
1. История развития машинного перевода
Сегодня ни у кого не возникает проблемы с переводом текста с одного языка на другой, даже без углубленных знаний переводящего языка или специального образования. Каждый человек может воспользоваться плодами долгих исследований и разработок в области машинного перевода, во всяком случае, понять смысл незнакомого документа или инструкции обладая определенными техническими возможностями, такими как интернет и персональный компьютер. Но еще полвека назад об этом не было и речи.
Автоматический или «машинный» перевод текстов исторически был одной из первых задач, решение которых люди попытались переложить на вычислительные устройства. История машинного перевода началась в конце 40-х годов прошлого столетия. По-видимому, первым, кто попытался получить правительственные субсидии на развитие вычислительной техники, был выдающийся математик XIX века Чарльз Бэббидж2. В числе благ, которые он сулил британскому правительству в случае поддержки его проекта вычислительной машины, было обещание, что когда-нибудь эта машина сможет автоматически переводить разговорную речь3.
Другие изобретатели тоже пытались создать механические переводящие устройства еще до наступления компьютерной эры. Например, Петр Троянский в середине 1930-х годов получил в СССР патент, предложив не только автоматический двуязычный словарь, но и схему кодирования межъязыковых грамматических ролей, основанную на языке эсперанто. Тем не менее, сейчас принято считать, что основные принципы современного машинного перевода были изложены только в марте 1947 году в письме директора естественнонаучного отделения Рокфеллеровского фонда Уоррена Уивера к Норберту Винеру, в котором Уивер впервые обозначил принципиальную возможность существования машинного перевода, и теоретически обосновал и развил данную концепцию в своем меморандуме, адресованном Фонду в 1949 году4.
У.Уивер писал: "I have a text in front of me which is written in Russian but I am going to pretend that it is really written in English and that it has been coded in some strange symbols. All I need to do is strip off the code in order to retrieve the information contained in the text." ("У меня перед глазами текст, написанный по-русски, но я собираюсь сделать вид, что на самом деле он написан по-английски и закодирован при помощи довольно странных знаков. Все что мне нужно - это взломать код, чтобы извлечь информацию, заключенную в тексте"). Аналогия между переводом и дешифрованием была естественной в контексте послевоенной эпохи, если учитывать успехи, которых достигла криптография в годы Второй мировой войны5.
В соответствии с идеями Уивера стадия передачи информации в машинном переводе разделена на два этапа; на первом этапе исходное предложение переводится на язык-посредник (созданный на базе упрощенного английского языка), а затем результат этого перевода представляется средствами выходного языка.
Развитие компьютерных
технологий, а также меморандум Уивера
вызвали множество дискуссий
о проблемах машинного
В связи с громоздкостью
и дороговизной в обслуживании первых
вычислительных машин, компьютеры использовались
только для осуществления
На ранних этапах, разработка машинного перевода активно поддерживалась военными, при этом в США основное внимание уделялось русско-английскому направлению, а в СССР - англо-русскому.
Под руководством известного математика Массачусетского технологического университета Й.Бар-Хиллела в 1952г. состоялась первая конференция по вопросу машинного перевода, а в 1954 г в Нью-Йорке была представлена первая публичная демонстрация машинного перевода, вошедшая в историю под названием Джоржтаунского эксперимента. Несмотря на то, что представленная система IBM Mark II оперировала все лишь словарем в 250 слов, 6 грамматическими правилами и переводом нескольких простых фраз с русского языка на английский, этот эксперимент вызвал широкий резонанс, повлекший проведение исследований по всему миру.
В том же 1954 первый эксперимент по машинному переводу был осуществлен в СССР профессором И.К.Бельской, отвечающей за лингвистическую часть и доктором Д.Ю.Пановым, обеспечивающим программную часть в Институте точной механики и вычислительной техники Академии наук СССР6. В тот же промежуток времени под руководством Ю.А.Моторина. был разработан первый промышленно пригодный алгоритм машинного перевода и система машинного перевода с английского языка на русский на универсальной вычислительной машине. После этого работы начались во многих информационных институтах, научных и учебных организациях страны7.
Исследователи-разработчики рассчитывали создать качественную автоматизированную систему машинного перевода без участия человека на этапе постредактирования в течение нескольких лет. С развитием исследований профессиональные переводчики в серьез призадумались о своей дальнейшей судьбе и смене профессии.
В эти исследования были вложены значительные средства, однако результаты очень скоро разочаровали инвесторов. Одной из главных причин невысокого качества машинного перевода в те годы были ограниченные возможности аппаратных средств: малый объем памяти, медленный доступ к содержащейся информации, невозможность полноценного использования языков программирования высокого уровня. Другой причиной было отсутствие теоретической базы, необходимой для решения лингвистических проблем, в результате чего первые системы машинного перевода сводились к пословному переводу текстов без какой-либо синтаксической и смысловой целостности.
В 1959 г. философ Й. Бар-Хиллел выступил с утверждением, что высококачественный полностью автоматический машинный перевод не возможен, в связи с отсутствием у аппаратных средств знаний языковой действительности и возможности выбрать правильный вариант перевода слов. Но, несмотря на высказанное утверждение, Бар-Хиллел не отрицал идею машинного перевода как таковую, считая перспективным направлением разработку машинных систем, ориентированных на использование их человеком-переводчиком8.
Это выступление самым
неблагоприятным образом
В 1966 г. специально созданная Национальной Академией наук комиссия ALPAC, основываясь, на выводах Бар-Хиллела, а также в силу низкого качества машинно-переведённых текстов и огромных вложений, пришла к выводу, что машинный перевод нерентабелен.
За докладом ALPAC последовало сокращение финансирования исследований в области машинного перевода со стороны правительства США, а также ряда других государств.
Тем не менее, в ряде стран исследования продолжались, чему способствовал постоянный прогресс вычислительной техники. Особенно существенным фактором стало появление мини- и персональных компьютеров, а с ними всё более сложных словарных и поисковых систем, ориентированных на работу с естественно-языковыми данными. Росла и необходимость в переводе как таковом ввиду роста международных связей. При этом несколько сместились акценты: исследователи теперь ставили целью развитие «реалистических» систем машинного перевода, предполагавших участие человека на различных стадиях процесса перевода. Системы машинного перевода из «конкурента» профессионального переводчика превращаются в незаменимого помощника, способствующего экономии времени и человеческих ресурсов. Все это привело к новому подъёму этой области, наступившему примерно с середины 1970-х9.
И только с начала 80-х годов, когда персональные компьютеры уверенно и мощно начали завоевывать мир, а время их работы, естественно, подешевело и доступ к ним можно было получить в любую минуту, машинный перевод наконец-то стал экономически выгодным. К тому же в эти и последующие годы совершенствование программ позволило достаточно точно переводить многие виды текстов. Таким образом, 1980-е наступило время широкого практического использования переводческих систем, сложился рынок коммерческих разработок по этой теме.
Следующие десять лет разработка систем машинного перевода осуществлялась в США университетом Бригхам в Прово, штат Юта и финансировалась Мормонской церковью, заинтересованной в переводе Библии; группами исследователей в Канаде, в числе которых Таум в Монреале с ее системой METEO; в Европе и т.д. Особого упоминания заслуживают работа в этой области отечественных лингвистов, таких, как И.А.Мельчук и Ю.Д.Апресян (Москва), результатом которой стал лингвистический процессор ЭТАП. В 1960 г. в составе Научно-исследовательского института математики и механики в Ленинграде была организована экспериментальная лаборатория машинного перевода, преобразованная затем в лабораторию математической лингвистики Ленинградского государственного университета10.
90-е годы можно считать подлинной эпохой возрождения в развитии машинного перевода, что связано не только с высоким уровнем возможностей персональных компьютеров, появлением сканеров и различных программ, но и с широким распространением сети Интернет, обусловивших реальный спрос на машинный перевод. Он вновь стал привлекательной областью вложения капиталов, как для частных инвесторов, так и для государственных структур. За период 1978-1997гг в США на исследования в области автоматического перевода истрачено 20 миллионов долларов, в Европе - 70 миллионов, в Японии - 200 миллионов11.
В июле 1990 года на выставке персональных компьютеров Форум в Москве была представлена первая в России коммерческая система машинного перевода под названием Промт, которая всего через пару лет выиграла конкурс НАСА на поставку систем машинного перевода.
В настоящее время несколько десятков компаний занимаются разработкой коммерческих систем машинного перевода, в их числе: Systran, IBM, L&H (Lernout & Hauspie), Transparent Language, Cross Language, Trident Software, Atril, Trados, Caterpillar Co., LingoWare; Ata Software; Lingvistica b.v. и др
Появилась возможность воспользоваться услугами автоматических переводчиков непосредственно в сети интернет: alphaWorks; PROMT's Online Translator; LogoMedia.net; Yahoo! Babel Fish; InfiniT.com.
Несмотря на достигнутый результат в рамках исследований, развитие компьютерных технологий, повсеместное распространение и использование машинного перевода, не только учащимися, студентами, а также профессионалами-переводчиками, мечты, с которыми человечество полвека назад взялось за задачу машинного перевода, в значительной мере остаются мечтами: высококачественный перевод текстов широкой тематики по-прежнему недостижим. Однако по статистическим данным преимуществом является ускорение работы переводчика при использовании систем машинного перевода до пяти раз. К тому же, современные технологии не стоят на месте, каждый день, радуя пользователей новыми ноу-хау, и кто знает, может еще через пятьдесят лет мечты воплотятся в реальность.
2. Механизм машинного перевода
Под машинным переводом понимается выполняемое на компьютере действие по преобразованию текста с одного естественного языка в эквивалентный по содержанию текст на другом языке, а также результат такого действия. Современный машинный перевод осуществляется с помощью человека, который тем или иным образом предварительно обрабатывает подлежащий переводу текст, или исправляет ошибки и недочеты в переведенном машиной тексте12.
Для осуществления машинного перевода в компьютер устанавливается специальная программа, реализующая алгоритм перевода, под которым понимается последовательность определенных действий над текстом для нахождения переводных соответствий или эквивалентов в паре языков.
Система машинного перевода включает в себя двуязычные словари, снабженные необходимой грамматической информацией для обеспечения передачи эквивалентных переводных соответствий, а также алгоритмические средства грамматического анализа, реализующие какую-либо из принятых для автоматической переработки текста формальных грамматик. Имеются также отдельные системы машинного перевода, рассчитанные на перевод в рамках трех и более языков, но они в настоящее время являются экспериментальными.
Наиболее распространенной является следующая последовательность операций, обеспечивающих анализ и синтез в системе машинного перевода:
На первом этапе
осуществляется ввод текста и
поиск входных словоформ (слов
в конкретной грамматической
форме, например предложного
Второй этап включает в себя перевод идиоматических словосочетаний, фразеологических единств или штампов данной предметной области (например, при англо-русском переводе обороты типа according to, in case of получают единый эквивалент и исключаются из дальнейшего грамматического анализа). Затем происходит определение основных грамматических (морфологических, синтаксических) характеристик элементов входного текста (например, числа существительных, времени глагола и т.д.), лексический анализ и перевод лексем. Обычно на этом этапе однозначные слова отделяются от многозначных (имеющих более одного переводного эквивалента в выходном языке), после чего однозначные слова переводятся по спискам эквивалентов, а для перевода многозначных слов используются так называемые контекстологические словари, по которым производится поиск слов в контексте для определения смысла слова14.
Последующий грамматический анализ, в ходе которого доопределяется необходимая грамматическая информация с учетом данных выходного языка (например, при русских существительных типа брюки, ножницы глагол должен стоять в форме множественного числа, несмотря на то, что в оригинале может быть и единственное число).
На завершающем этапе происходит соединение выходных словоформ в предложения в целом на выходном языке.
В зависимости от особенностей морфологии, синтаксиса и семантики конкретной языковой пары, а также направления перевода общий алгоритм перевода может включать и другие этапы, а также модификации названных этапов или порядка их следования, но вариации такого рода в современных системах, как правило, незначительны. Анализ и синтез могут производиться как по-фразно, так и для всего текста, введенного в память компьютера; в последнем случае алгоритм перевода предусматривает определение так называемых анафорических связей (такова, например, связь местоимения с замещаемым им существительным).
Действующие системы машинного перевода ориентированы на конкретные пары языков (например, английский и русский или японский и английский) и используют, как правило, переводные соответствия либо на поверхностном уровне, либо на некотором промежуточном уровне между входным и выходным языком. Качество машинного перевода зависит от объема словаря, объема информации, приписываемой лексическим единицам, от тщательности составления и проверки работы алгоритмов анализа и синтеза, от эффективности программного обеспечения. Современные аппаратные и программные средства допускают использование словарей большого объема, содержащих подробную грамматическую информацию. Информация может быть представлена как в описательной, так и в процедурной форме, то есть учитывающей потребности алгоритма.
Современный машинный перевод следует отличать от использования компьютеров в помощь человеку-переводчику. В последнем случае имеется в виду автоматизированный словарь, помогающий переводчику быстрее подбирать нужный переводной эквивалент. Хотя и в том, и в другом случае компьютер работает вместе с человеком, в содержание термина «машинный перевод» входит представление о том, что основную часть работы по переводу и отысканию переводных эквивалентов компьютер берет на себя, оставляя человеку лишь контроль и исправление ошибок, в то время как компьютерный словарь в помощь человеку – это чисто вспомогательное средство для быстрого нахождения переводных соответствий; при этом, однако, в такого рода словарях в ограниченной степени могут быть реализованы и некоторые функции, присущие системам машинного перевода. Эффективность работы современной системы машинного перевода в решающей степени зависит от ее удачной настройки на конкретный подъязык естественного языка, на определенную лексику и ограниченный набор грамматических средств, характерных для текстов данной предметной области, а также на определенные типы документов. Учение о подъязыках15 с точки зрения машинного перевода было впервые сформулировано Н.Д.Андреевым (Ленинградский университет) в 1967, хотя представления о языковых регистрах, стилях, жанрах письменного текста и т.п. были хорошо известны и в традиционной лингвистике.
Подъязык, с точки зрения машинного перевода, определяется в первую очередь некоторым исходным набором текстов, в рамках которого определяется входной и выходной словари, степень распространения и характер лексической неоднозначности лексем, характер и распространенность синтаксических конструкций, способы их перевода в данной языковой паре и пр. Статистические характеристики подъязыков помогают упорядочить структуру соответствующих алгоритмов анализа и синтеза. Выходной словарь, ориентированный на потребности синтеза и передачи основных видов соответствий в конкретной языковой паре, обеспечивает приемлемый выходной текст. В любом из современных видов машинного перевода необходимо участие человека-редактора, удобство работы которого обеспечивается качеством и надежностью соответствующего программного обеспечения.
В настоящее время существует две концепции развития систем машинного перевода: модель «большого словаря со сложной структурой», которая заложена в большинство современных программ-переводчиков и модель «смысл-текст», впервые сформулированная А.А. Ляпуновым, но не реализованная, ни в одной конкретной программе. На сегодняшний день наиболее известны такие системы машинного перевода, как PROMT2000/XT, Retrans Vista компаний Vista Advantis, Сократ – набор программ компании Арсеналъ.
3. Машинный перевод: миф или реальность
Осуществление перевода
компьютером – сложная, но интересная
научная задача. Основная ее сложность
состоит в том, что естественные
языки плохо поддаются
В нашей стране разработка систем машинного перевода ведется уже более 45 лет, однако до сих пор эта сфера компьютерной индустрии вызывает огромное количество различных дискуссий. Часто приходится слышать от критиков систем машинного перевода, что программы-переводчики переводят плохо, непонятно кому они вообще нужны. Гораздо проще отдать текст «живому» переводчику или выучить язык самому»16. Подобные резкие высказывания наводят на вопросы, а есть ли необходимость в машинном переводе? Будет ли когда-нибудь машинный перевод выполнен на уровне квалифицированного специалиста? Является ли машинный перевод мифом или реальностью? Данная делема особенно остро стоит перед заказчиками, стоящими перед выбором приема в штат своей организации профессионального переводчика, или использования для этих же целей машинного перевода. Для некоторых заказчиков такой уровень перевода просто неприемлем. «Машинный перевод - это миф, - считает Линн Сешедри, консультант одной из служб корпорации Electronic Data Systems (г. Плейно, штат Техас, США), принимавший участие в создании глобальной интрасети компании. - Возможно, он годится для технической документации, но во всех остальных случаях вы получаете пятнадцать процентов смысла и восемьдесят пять процентов ерунды». Линн Сешедри для перевода содержания своей интрасети EDS пользуется услугами профессиональных переводчиков на контрактной основе17. Однако других машинный перевод вполне устраивает, в значительной степени потому, что часто просто нет реальных альтернатив и возможностей. Парижский фонд «За развитие гуманизма» в свое время также стоял перед выбором: тратить ли существенную часть своего бюджета на профессионалов - переводчиков или испробовать средства машинного перевода. Данная организация, финансируется из частных источников, выпускает доклады по экологии, экономике и ряду других областей, привлекая для их создания интернациональные коллективы ученых. Ее выбор пал на технологию машинного перевода, а точнее, на продукт фирмы Глобалинк, представляющий собой вполне качественное и недорогое приложение для персонального компьютера. Работники Парижского фонда установили систему автоматического перевода на сервер электронной почты, чтобы общение специалистов, говорящих на разных языках, было проще и эффективнее.
«Это хорошее решение, - считает Марина Урквиди, консультант из Парижского фонда. - Многие люди предпочли бы работать не на английском, а на своем родном языке. Теперь у них есть такая возможность». Она не отрицает, что машинный перевод имеет свои недостатки, однако убеждена, что если человек захочет, он сможет понять перевод, сделанный машиной. «Если вы немного подумаете, то сумеете понять, о чем идет речь». Таким образом, если не требовать от машинного перевода слишком многого, то, возможно, обещание Бэббиджа о машинном переводе все же исполнится18.
Для того чтобы принять чью-либо позицию, необходимо обозначить достоинства и недостатки исследуемого объекта.
Первый источник проблем машинного перевода - это многозначность слов в любом естественном языке, а также существование, а в некоторых случаях обилие устойчивых словосочетаний и фразеологических оборотов. Причем, эти явления существуют как в языке, с которого делается перевод, так и в том языке, на который переводится. Ведь ни для кого не секрет, что даже квалифицированному переводчику, постоянно пополняющему свой запас устойчивых словосочетаний, выражений, фразеологических оборотов необходимо время для поиска правильного переводческого решения той или иной фразы, заключающей в себя весь смысл предложения, а компьютер-переводчик это делает за доли секунд, просто заменив слова одного языка, словами другого19.
Второй источник проблем - невозможность
передать ассоциативный ряд, который
у нас связан с каждым словом.
Пользуясь машинными
Третьим источником погрешностей при переводе являются требования языка к соблюдению определенного порядка слов в предложениях, то есть к способу объединения отдельных слов в связный текст. Принято считать, что в русском языке порядок слов свободный, и существует возможность переставлять слова в словосочетаниях и предложениях как угодно, и собеседник вас поймет однозначно. Исключения бывают, но сравнительно редко. В то же время, в английском, да и в большинстве европейских (германских и романских) языков, соблюдение прямого порядка слов жизненно важно для того, чтобы ваш собеседник смог понять, что же вы ему пытались сообщить.
Четвертым источником лингвистических затруднений является невозможность формально описать лингвистические закономерности. Например, школьные представления о том, что в русском языке существует всего 36 категорий имени существительного (три рода, три склонения, две категории одушевленности, имена собственные/нарицательные), увы, совершенно не подтверждаются живым языком. Слова "глаз", "луч", "матрац", "стул" и "стол" любой школьник отнесет к нарицательным существительным мужского рода, второго склонения, неодушевленным. Однако в именительном падеже множественного числа будут «глазА», «лучИ», «матрацЫ», «стулЬЯ», а в родительном падеже множественного числа разнообразие вариантов еще больше: «глаз», «лучЕЙ», «матрацЕВ», «стулЬЕВ», «столОВ», и все эти закономерности трудны как для человека изучающего язык, так и для компьютера переводящего текст21.
Очень часто причиной неправильного перевода являются опечатки в оригинале, в особенности это касается отсканированных и распознанных текстов. Слова с орфографическими ошибками в большинстве случаев помечаются системой перевода как незнакомые, поскольку в исковерканном виде они в словарях отсутствуют. Сложнее, если опечатка превращает одно слово в другое, которое также существует в иностранном языке, – программа переведет его, но смысл текста будет искажен. Но самыми серьезными «подводными камнями» являются ошибки в пунктуации. Одна неправильно поставленная запятая способна серьезно исказить перевод предложения.
Компьютер-переводчик также не распознает никаких сокращений, а точка после сокращенного слова наведет его на мысль о том, что предложение закончилось, и, следовательно, предложение будет неправильно разобрано, и в результате неправильно переведено.
Еще одним источником неправильной интерпретации текста в исполнении машинного перевода является отсутствие скрупулезной внимательности человека-профессионала. Электронный переводчик способен более или менее адекватно передать определенные категории текста на другом языке. Прежде всего, это относится к документам, где в большом количестве используются стойкие лексические обороты (особенно к юридическим документам). К сожалению, даже в этом случае не удается избежать ошибок. Перевод будет достаточен для понимания общих положений, но почти наверняка он будет неточен в деталях, а ведь каждый понимает, к чему может привести, например, неверное употребление предлога в важном контракте.
Что касается документов свободного стиля, в особенности художественных произведений, в которых помимо качественного перевода необходимо передать стиль и манеру автора, то здесь машинный перевод ничем не сможет вам помочь. При переводе любой сложной фразы, даже если сохранится смысл, то стилистически тексту однозначно потребуется качественное редактирование22.