Блог

Управление качеством систем машинного перевода

Качество машинного перевода

За последнее десятилетие в области машинного перевода (MT) достигнуты колоссальные успехи, благодаря которым повысилось его качество и он стал неотъемлемой частью переводческих процессов. Наряду с этим использование всех преимуществ MT может оказаться сложной задачей как для новых, так и для существующих пользователей, не знающих, какую систему выбрать. Мы предлагаем вашему вниманию обзор аспектов качества MT и алгоритма выбора оптимальной системы перевода для вашего контента.

Вы абсолютно ничего не знаете о машинном переводе? Изучите наше [Руководство по машинному переводу для начинающих__Руководство по машинному переводу для начинающих__.

Начало работы с системами машинного перевода

Независимо от того, есть ли у вас опыт использования MT для перевода, важнейшую роль играет выбор системы MT.

Сегодня доступно огромное количество разнообразных вариантов. На рынке инструментов МТ также постоянно происходят изменения, появляются новые системы и постоянно дорабатываются существующие. Выбор оптимального варианта — это сложный процесс, требующий немалых усилий.

Целесообразно принимать во внимание все факторы. Основное преимущество MT состоит в экономии времени и затрат: скорость перевода становится практически мгновенной, а стоимость по сравнению с «человеческим» переводом — микроскопической. Этому описанию отвечают практически все современные системы MT.

Остается лишь один существенный камень преткновения: качество готового продукта. Это, пожалуй, важнейшая переменная, которую следует учитывать в управлении рабочим процессом МТ, поскольку низкое качество может свести к нулю экономию времени и затрат.

О качестве машинного перевода

Новейшие разработки в области МТ, прежде всего широкомасштабный переход от статистического машинного перевода к нейронному, значительно повысили базовый уровень качества. Как показывают наши собственные данные, с 2017 года вероятность получения практически безупречного сегмента, для которого требуется минимальное пост-редактирование, выросла почти вдвое. Системы, которые наиболее популярны сегодня, обеспечивают приемлемое качество, способны передавать смысл и даже нюансы исходного текста.

Качество машинного перевода

Доверие к качеству МТ во многом зависит от масштабов и важности поставленной задачи. Студенту, который (стыд и позор!) хочет наспех перевести несколько строк домашнего задания перед занятиями, не нужен придирчивый выбор. Все основные системы MT, используемые сегодня, скорее всего обеспечат приемлемое качество. Ошибки чаще всего возникают из-за нечетких формулировок исходного текста, а не из-за недочетов системы MT. Однако, если вы переводите на французский или китайский язык изречение для татуировки, желательно, чтобы перевод был проверен носителем языка. В интернете найдется немало примеров неудачных татуировок — сигнал для тех, кто слишком доверяет системам MT.

Изменения происходят стремительно. Для крупного предприятия «приемлемый» перевод может оказаться недостаточно хорошим. По мере того как увеличивается объем переводов, мелкие ошибки могут накапливаться, а вероятность катастрофических ошибок — пропорционально расти. В конечном счете потребуются более масштабный (и дорогостоящий) анализ и пост-редактирование вручную. Копейки превращаются в рубли, а рабочие процессы начинают замедляться.

Однако рост объемов может иметь и позитивные последствия. Чем больше вы переводите, тем выше вероятность увидеть различия между системами MT, которые, возможно, были незаметны при небольших масштабах. Несущественная разница становится более значимой. Какие-то системы окажутся более результативными, а грамотный выбор даст возможность повысить качество и получить экономию. Оптимальный выбор играет важную роль.

Наш Отчет о машинном переводе содержит сравнительный анализ систем MT_._

Типы систем машинного перевода

Выбирая систему MT, можно остановиться на универсальном решении, например Amazon Translate, Google Translate или Microsoft Translator, или отдать предпочтение специализированному продукту. В системах обоих типов результаты формируются на основе базы ранее выполненных переводов.

Специализированные системы используют данные, введенные пользователями, для самообучения в целях повышения качества. База ранее выполненных переводов служит для системы ориентиром. Вероятность получить продукт желаемого качества возрастает. Например, для целей самообучения отлично подходит контент, связанный с индустрией туризма и гостеприимства. Описания отелей и отзывы путешественников часто имеют сходные черты, а обилие доступного контента делает самообучение систем не только возможным, но и желательным.

В этом состоит не только колоссальное преимущество специализированной системы, но и ее основной недостаток. Если внимание сосредотачивается на конкретных типах контента, результаты в других областях, вероятно, будут хуже. Система, для обучения которой использовались описания гостиниц и отзывы их постояльцев, может не справиться с переводом новостных статей.

Как правило, специализированные системы дороже настраивать и обслуживать. Они предназначены для компаний, которые работают с большими объемами материалов, сходных по стилю и содержанию, и способны окупить дополнительные затраты.

Универсальные системы отлично подходят для большинства пользователей, поскольку они быстро настраиваются, а их стоимость значительно ниже, чем у специализированных систем. Если приоритет отдается качеству, выбор системы может оказаться довольно непростой задачей.

Как оценить качество машинного перевода?

Выбирая систему MT, целесообразно оценить качество готового продукта, чтобы понять, окупятся ли ваши затраты. Многие пользователи MT проводят углубленный анализ всех доступных вариантов, прежде чем сделать окончательный выбор. В отрасли введены показатели качества, которые помогают стандартизировать этот процесс.

Как правило, мы можем выявить различия между ** оценкой фактического качества** и прогнозируемым качеством.

Оценка фактического качества основывается на анализе готового продукта МТ, как правило, в сравнении с переводом того же исходного текста, который выполнен человеком. Наряду с тем, что большинство людей легко могут сказать, какой перевод более «естественен», чисто субъективная оценка не всегда эффективна в масштабе.

Один из способов — это оценка двуязычными экспертами, которые сравнивают результаты работы системы и профессиональных переводчиков, не зная, кем выполнен перевод. В прошлом этот метод использовали для обоснования смелых заявлений о росте качества МТ. Однако он имеет ряд существенных ограничений.

В первую очередь, это стоимость. Для такой оценки требуется участие людей — переводчиков и экспертов. Чтобы получить точную оценку, могут потребоваться значительные ресурсы. Также есть опасения по поводу субъективности, присущей любой оценке. Как показывают исследования, профессиональные переводчики, в отличие от непрофессиональных лингвистов, с большей вероятностью выше оценят тот перевод, который выполнен человеком. Аналогичным образом оценка на уровне сегмента, скорее всего, окажется в пользу МТ, в отличие от оценки сегмента в контексте всей статьи.

Альтернативный вариант — это использование компьютерных алгоритмов для быстрой оценки больших объемов и выставления объективного численного рейтинга. Такая оценка проводится путем автоматического сравнения результата, выданного системой MT, и справочного перевода. В разных алгоритмах для расчета используются разные переменные, но, как правило, чем ближе к справочному переводу оказывается перевод системы MT, тем выше оценка.

Существует великое множество разнообразных алгоритмов. Сегодня чаще всего используются следующие:

  • BLEU (BiLingual Evaluation Understudy)
  • ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
  • METEOR (Metric for Evaluation of Translation with Explicit ORdering)

В каждом из этих алгоритмов применяется собственный подход к измерению «схожести» результата, выданного системой МТ, со справочным переводом. Их сравнительные преимущества и недостатки — отдельная тема для обсуждения.

В общем и целом оценка фактического качества — эффективный способ проанализировать результат работы системы. Пользователь получает контроль над процессом и надежные выводы для сопоставления вариантов. Однако потребность в тексте, который переведен человеком и будет взят за основу для сравнения, и сам процесс организации оценки делают этот метод относительно медленным и дорогостоящим. Еще один минус заключается в том, что оценка выдается в формате «моментального снимка», для конкретного момента времени. Сегодня большинство систем MT стремительно совершенствуются, и вчерашние результаты оказываются недостоверными.

Прогнозируемое качество оценивается по-другому. Здесь за основу берется не результат, выданный системой MT, а исходный текст, который необходимо перевести, и с помощью ряда критериев формируется прогноз качества перевода.

Например, в компании Memsource разработан инструмент прогнозирования под названием Machine Translation Quality Estimation (MTQE). Здесь не требуется справочный перевод. Достаточно иметь исходный текст, поскольку прогноз строится на основе исторических данных. Качество прогнозируется как необходимость редактирования перевода, выданного системой. В MTQE применяется процентная величина, присваиваемая конкретным сегментам перевода. 100% означает, что сегмент безупречен и не требует редактирования, а 75% предполагает, что есть возможности для улучшения. Хотя оценка выставляется на детализированном уровне, для каждого сегмента, обобщенный рейтинг может дать представление о том, насколько хорошо работает данная система. Одно из преимуществ прогнозной оценки качества состоит в том, что это динамичный процесс, который совершенствуется на основе отзывов пользователей. Его результаты постоянно улучшаются. Выдаваемый прогноз не статичен.

Любой метод дает представление о том, как будет работать та или иная система и какой из вариантов может стать идеальным с учетом потребностей в машинном переводе.

Несколько систем машинного перевода?

Также следует отметить, что нет необходимости ограничиваться одной системой. Большинство компьютерных программ управления переводами дают пользователям возможность относительно быстро переключаться с одной системы на другую. Возможно, программа A лучше подходит для определенной языковой пары, а программа B — для перевода определенных видов контента. Приняв решение использовать только систему A или только систему B, можно потерять те преимущества, которые дает использование других систем в определенных областях.

В Memsource разработано уникальное решение для управления машинным переводом под названием Memsource Translate. Оно дает возможность использовать несколько систем в целях оптимизации качества. Алгоритм, работающий на основе искусственного интеллекта, автоматически выбирает для конкретного контента самую эффективную систему MT с учетом языковой пары и содержания документа. Данные о результативности работы систем собираются в режиме реального времени и используются для постоянного обновления рекомендаций алгоритма. В комплект Memsource Translate входят три полностью управляемые системы. Также у пользователей есть возможность добавлять по собственному выбору другие системы, в том числе настраиваемые. Процесс управления и тестирования систем автоматизируется. Благодаря этому у новых и существующих пользователей MT есть возможность оптимизировать свои рабочие процессы.

Качество работы систем машинного перевода не должно становиться препятствием в использовании всего потенциала MT. Существует множество способов обеспечить качество и внедрить инновации для совершенствования переводческого процесса.

Ищете обзор, посвященный качеству систем машинного перевода? У нас есть то, что вам нужно.

Скачать сейчас
Автор: Дан Здарек
Автор: Дан Здарек

Специалист компании Memsource по маркетингу продукции