Volume 14, No. 1 
January 2010

 
 
 Milam Aiken


Mina Park




 
 

Front Page

 
 
Select one of the previous 50 issues.

 
Index 1997-2009

 
TJ Interactive: Translation Journal Blog

 
  Translator Profiles
Twenty Years of Steady Workload
by Andrei Gerasimov

 
  The Profession
The Bottom Line

by Fire Ant & Worker Bee

 
  Translators Around the World
Where Can I Find a Chinese Sworn Translator in Rio de Janeiro?
by Danilo Nogueira and Kelli Semolini

 
  Cultural Aspects of Translation
Culture-Specific Items in Literary Translations
by Sepideh Firoozkoohi

 
  Medical Translation
How Many Varieties of Medical Practice Are There?
by Rafael A. Rivera, M.D., FACP

 
  Science & Technology
Translating a Patent: Translator's Templates
by Kriemhild (Karen) Zerling

 
  Translators and the Computer
Automatic Web Translators as Part of a Multilingual Question-Answering (QA) System: Translation of Questions
by Lola García-Santiago and María-Dolores Olvera-Lobo
 
Эффективность двустороннего перевода для оценки качества систем автоматического перевода
by Milam Aiken and Mina Park

 
  Arts & Entertainment
Empirical Study of Subtitled Movies
by Maria Bernschütz, Ph.D.

 
  Literary Translation
La influencia de Voltaire en el primer Hamlet español
Laura Campillo Arnaiz

 
  Translators' Education
English Language Teaching Through the Translation Method (A Practical Approach to Teaching Mongolian CPAs)
by Dr. Naveen K. Mehta

 
  Translators' Tools
Pondering and Wondering
by Jost Zetzsche
 
Translators’ Emporium

 
  Caught in the Web
Web Surfing for Fun and Profit
by Cathy Flick, Ph.D.
 
Translators’ On-Line Resources
by Gabe Bokor
 
Translators’ Best Websites
by Gabe Bokor

 
Call for Papers and Editorial Policies
  Translation Journal


The Translator & the Computer
 

Эффективность двустороннего перевода для оценки качества систем автоматического перевода

Милам Айкен
Факультет бизнес-администрирования
Университет Миссисипи

Мина Парк
Факультет бизнеса
Северный Государственный Университет (США)

 

Введение

Двусторонний перевод (ДП), также известный как реверсивный перевод или перевод туда и обратно, подразумевает перенос текста с одного языка на другой (первичный перевод, ПП) и снова на исходный язык (обратный перевод, ОП). К примеру: текст, написанный на английском языке, передаётся на испанский язык, а затем готовый испаноязычный текст «превращается» снова в англоязычный. ДП ранее применялся в нескольких исследовательских работах (Глидден-Трэйси & Гринвуд, 1997; Клоуди, 1996), и некоторые из них утверждали, что если конечный и первоначальный тексты идентичны или очень схожи, ДП являет собой достоверное свидетельство о высоком качестве первичного перевода (Чан, 2006).

В то же время, другие учёные решительно отвергли ДП как достоверный метод оценки машинного перевода (МП). Например, ван Заанен и Шварц (2006) утверждают:

"Непрофессионалы, рассматривая пригодность систем автоматического перевода, зачастую прибегают к двустороннему переводу, заключающемуся в трансляции текста на иностранный язык и обратно. Идея в том, что хорошая программа-переводчик после ДП выдаст текст в точности (или в немалой степени) соответствующий исходному. Однако, люди, имеющие дело с системами автоматического перевода, интуитивно полагают ДП не самым лучшим методом оценки. В этой статье мы опытным путём выявим, что двусторонний перевод не может быть использован в качестве меры кондиционности любой из систем автоматического перевода. Даже при использовании переводов нескольких систем, для минимизации воздействия ошибок отдельно взятой системы, двусторонний перевод не может быть мерой качества машинного перевода."

О'Коннелл (2001) утверждает:

"Частое заблуждение в вопросе об оценке систем автоматического перевода это вера в то, что обратный перевод может вывить практичность системы. ... В теории, если при обратном переводе получается тот же текст (на языке источника), который и был введен, то система хорошо работает с данной парой языков."

Сомерс (2006) добавляет:

"ДП (ворча), да чем же он хорош? Абсолютно ничем."

Кристал (2004) пишет:

"Тяжело поверить, что обратный перевод может считаться надёжным методом подтверждения точности перевода ... Мы уверены, что при обратном переводе не учитываются ни синтаксический, ни семантический аспекты языка; он не может быть надёжным инструментом контроля качества перевода."

Но затем Кристал (2004) оспаривает вышестоящее утверждение, заявляя, что в некоторых случаях ДП может считаться приемлемым:

"Техническая документация, например, паспорта безопасности или формулы, по-видимому, подходят для обратного перевода, потому что исходный текст обычно составлен инженерами или учёными, и с меньшей вероятностью включает юмор, разговорные обороты или сложные литературные высказывания. Если содержание выглядит так, будто оно было написано компьютером, то легче получить буквальный перевод на целевом языке и обратный перевод пригодится для проверки. ... ДП может быть использован при отсутствии более подходящих методов для установления точности перевода, например, в случае, если не доступны ни эквиваленты на целевом языке, ни люди, свободно им владеющие."

Некоторые (например, Ямашита и Ишида, 2006 ) даже заявляют, что переводы между двумя языками не являются переходными (например, с языка А на язык Б, затем – с Б на А обратно, в результате в языке А не будут сохранены типичные для него выражения). Тем не менее, так происходит не всегда, что показывает следующий пример ДП с использованием онлайн-сервиса переводов Google Translate (http://translate.google.com/):

Английский: How are you?

Немецкий: Wie geht es dir?

Английский: How are you?


Английский: What is your name?

Испанский: ¿Cómo te llamas?

Английский: What is your name?


Английский: Who are you?

Датский: Hvem er du?

Английский: Who are you?


Иногда, итоговый результат ДП не идентичен, но имеет схожее значение:

Английский: Where is the store?

Голландский: Waar is de winkel?

Английский: Where is the shop?

Как показывают эти примеры, по крайней мере, иногда, ДП может давать точные результаты (то есть, правильный прямой перевод отождествляется с правильным обратным переводом). Проблема использования ДП для оценки машинного перевода состоит в том, что неверный двусторонний перевод может являться результатом ошибочного обратного перевода того, что являлось адекватным прямым переводом, или наоборот, или же оба случая (Сомерс, 2007). Более того, удачный обратный перевод может скрыть недостатки предыдущего этапа. Эксперты, проводящие оценку, не могут установить, когда была совершена ошибка – когда текст переводился на целевой язык, или же при переводе на исходный язык, и любые ошибки, случившиеся при первом переводе, могут вызвать ещё большие проблемы при обратном.


Ранние исследования

В одной исследовательской работе на проверку эффективности ДП (Сомерс, 2006) были использованы четыре текстовых выборки из 100 предложений, по одной на языковую пару, вместе с пятью бесплатными онлайн-сервисами автоматического перевода:

  1. Babelfish: http://babelfish.yahoo.com
  2. Freetranslation: www.freetranslation.com
  3. Systran: http://www.systranet.com/
  4. ProMT: www.online-translator.com
  5. Worldlingo: http://www2.worldlingo.com

Исследование показало, что ДП не слишком хороший способ определить, какая система лучше. К примеру, система с максимальными баллами за ПП, получила лишь четвёртое или пятое место по ОП. Оценка за ОП часто превосходила таковую за ПП, и рейтинг ПП не оправдывал ожиданий, данных высокой оценкой за ОП. Однако, в работе применялась автоматическая оценка текста.

Некоторые исследования показали, что оценка BLEU (Папинени и др., 2002) и результаты по прямому переводу (Туриан и др.2003) являются надёжными средствами измерения точности перевода и хорошо соотносятся с оценкой качества, вынесенной человеком. Всё же, находятся и те, кто не соглашается с этим. Например, при оценке машинного перевода, проводимой в Национальном Институте Стандартов и Технологии в 2005 году, BLEU не смог показать таких же результатов, которые были достигнуты при оценке, проводимой людьми (Кэллисон-Бёрч и др., 2006). Кроме того, Хуанг (1990) пишет:

"Хотя некоторые и отказываются от ДП как от «бесполезного», возражения чаще всего основываются на использовании автоматических систем тестирования [таких как BLEU], переводе идиом и т.д. … В конце концов можно сказать, что при ДП нельзя отличить хорошие системы машинного перевода от плохих или простые для перевода тексты от сложных, основываясь на методах автоматической оценки."

Кроме проблем, возникнувших при использовании BLEU и результатов по прямому переводу, плохие результаты могли быть получены из-за использования машинного перевода на основе правил, а не подхода статистического познания, который используется в Google Translate.

По крайней мере одно исследование (Шигенобу, 2007) выявило закономерность между точностью прямого перевода и обратного перевода, причём указывается, что ДП может быть пригоден.


Анализ ДП

В результате одного исследования (Сомерс, 2006) было выявлено, что ДП не стоит полагаться, но другое (Шигенобу, 2007) пришло к обратному выводу. Чтобы лучше изучить надёжность, мы исследовали 10 взятых у Чалла и Дейла (1995) текстов, чья сложность варьируется от 18.4 (сложный) до 100 (простой) по Flesch Reading Ease scale:

  1. One morning Toad sat in bed. "I have many things to do," he said. "I will write them all down on a list so that I can remember them." Toad wrote on a piece of paper: A list of things to do today. Then he wrote: Wake up. "I have done that," said Toad, and crossed it out.
  2. "You said you didn't want it," said Thelma. "And anyhow, I don't want to sell it now." "Why not?" said Frances. "Well," said Thelma, "it is a very good tea set. It is plastic that does not break. It has pretty red flowers on it. It has all the cups and saucers. It has the sugar bowl and the cream pitcher and the teapot. It is almost new, and I think it cost a lot of money." "I have two dollars and seventeen cents," said Frances. "That's a lot of money." "I don't know," said Thelma. "If I sell you ...
  3. Once upon a time a very small witch was walking in the woods. The cold wind was blowing the dry leaves all around her. The little witch was frantically searching for a house for the winter. She could not find one. Suddenly a piece of orange paper, blown by the wind, landed at her feet. She picked it up. The little witch looked closely at the paper and then she said, "I shall make myself a little house from this piece of orange paper." She folded the paper in half. Then she took her scissors (she always carried a pair ...
  4. Seals are wonderful divers. Some seals can dive several hundred feet below the surface. On deep dives, they can stay underwater up to 40 minutes without surfacing to breathe. They have special features to help save oxygen on such dives. When seals dive, they stop breathing. For very deep dives, their blood flows to everything except critical organs. Seals can also slow their heart rates, sometimes to one-tenth the rates at the surface. You may wonder how seals avoid the bends on deep dives. The bends are a painful condition. They are caused when nitrogen dissolves in ...
  5. Eskimos of Alaska's Arctic north coast have hunted whales for centuries. Survival has depended on killing the 60-foot-long bowhead whales that swim from the Bering Sea to the ice-clogged Beaufort Sea each Spring. The Eskimos' entire way of life has been centered around the hunt. But now that way of life is being threatened by America's need for oil, say many Eskimos who hunt the whales. Huge amounts of oil may be beneath the Beaufort Sea. And oil companies want to begin drilling this spring. However, many Eskimos say severe storms and ice conditions make drilling dangerous ...
  6. Why is it that as soon as "Jingle Bells" starts playing on the radio, otherwise-sane people are driven to extremes to create the Perfect Christmas? Take the case of Maureen McFadden, a Woman's Day editor, who decided to decorate her tree with homemade gingerbread ornaments. "I started late in the evening," she recalled. "And then I knocked the molasses jar on the floor." It was downhill from there. Her cat - long-haired, of course - sat in the molasses pool. "And when I yelped, he ran down the hall into my bedroom spewing molasses everywhere." Still, after she washed the ...
  7. The controversy over the laser-armed satellite boils down to two related questions: Will it be technically effective? And should the United States make a massive effort to deploy it? To its backers, the laser seems the perfect weapon. Traveling in a straight line at 186,000 miles per second, a laser beam is tens of thousands of times as fast as any bullet or rocket. It could strike its target with a power of many watts per square inch. The resulting heat, combined with a mechanical shock wave created by recoil as surface layers were blasted away, would quickly melt ...
  8. The latest finding is a refinement of evidence presented last summer by audio expert James Barger - who testified there was a 50 percent probability that four shots were recorded on the tape. Barger had recorded test firings at various points in the Dealey Plaza, then compared them with the motorcycle recording. The greatest similarity was produced by two shots from the book depository, one from the knoll and another from the depository. But Barger did not draw firm conclusions because he could not pin-point the policeman's motorcycle; his estimate could have been 18 feet off in any direction. Weiss, whose ...
  9. Until the 1940's, there were no specific psychiatric drugs. Bromides, barbiturates, and opiates were known to sedate disturbed patients but did not reverse the symptoms of severe mental illnesses such as the schizophrenias or manic-depressive psychoses. They did ameliorate anxiety, but only at the cost of fogging the minds of the recipients, who had to decide between being unhappy and being intoxicated. In the 1950's, the first specific drug appeared: chlorpromazine (trade name Thorazine). It was synthesized when an antihistamine chemical relative was found to sedate surgical patients. However, clinical observations showed that this drug did much more than simply ...
  10. Further support for the view that educational expansion would reduce inequalities was derived from the dualistic nature of developing societies. The economic structures of developing societies were said to consist of two sectors: a traditional sector that uses little capital, is relatively unproductive, does not require an educated labor force, and places a great emphasis on subsistence farming, small workshops and small commercial enterprises; and a modern sector that uses advanced technology and capital, is far more productive, and requires a labor force with at least some schooling. Expanding the educational system would qualify more workers for jobs where demands ...

Носитель корейского языка перевёл тексты с английского на корейский, Google Translate был использован для получения ещё одного корейского перевода. Затем, с помощью Google Translate перевели оба набора корейских переводных текстов обратно на английский. Носитель английского языка оценил осмысленность получившихся в итоге английских текстов по 100-балльной шкале (100 = наилучший показатель). В качестве дополнительного теста были вычислены баллы по BLEU для каждого из 10 образцов текста и был также добавлен «идеальный» результат по BLEU (то есть, оригинальный английский текст сравнивали с точной копией). Результаты представлены ниже:

 

Односторонний

ДП

Идеальный

Человек

BLEU

Человек

BLEU

BLEU

1

90

0.31

95

0.47

0.70

2

80

0.34

90

0.34

0.56

3

75

0.32

45

0.42

0.59

4

75

0.31

80

0.30

0.61

5

95

0.27

90

0.38

0.65

6

40

0.33

60

0.40

0.75

7

60

0.43

80

0.44

0.78

8

55

0.37

55

0.47

0.77

9

100

0.27

95

0.43

0.74

10

85

0.31

70

0.43

0.72

среднее значение

76.0

0.33

75.5

0.41

0.69

Здесь не оказалось значительной разницы в средних оценках Корейско-Английского направления перевода (среднее = 76.0, σ σ = 18.9). и англо-корейско-английского двустороннего перевода (среднее = 75.5, σ = 18.9). = 18.9). Далее, обнаружилась существенная положительная взаимосвязь (R = 0.65, p = 0.04) между этими оценками, указывающая на ДП как верный индикатор точности первичного перевода.

Однако, не было получено видимой корреляции между автоматической и человеческой оценками, ни для текса-результата ДП (R = -0.07, p <0.85) ни для примеров первичного перевода (R = -0.31, p <0.39). Была найдена значимая корреляция между идеальной автоматической оценкой и таковой по ДП (R = 0.70, p <0.03), но не между идеальной автоматической оценкой и таковой для первичного перевода (R = 0.36, p <0.31). Столь слабая взаимосвязь среди оценок BLEU могла стать результатом сравнительно небольшого числа сентенций в каждом взятом тексте. (Сновер, и др., 2006).


Следующий анализ ДП

В этом исследовании (Айкен & Гош, 2009), каждая из представленных ниже фраз была переведена на 32 не родственных английскому языка с помощью Google Translate.

  1. How can we improve the parking problem on campus?
  2. sell spots on ebay
  3. Before accepting so many students they should make a huge parking garage.
  4. I think we should all have to ride bicycles to school and tear up the parking lots and plant trees so that the squirrels will have their habitat back.
  5. I think the instructor should drive around and take people to class in his little pickup truck
  6. I think the residential college will help eliminate the parking problem for commuters.
  7. A parking lot can be created outside campus
  8. We need to build a parking garage.
  9. Parking garage
  10. Students who live within a reasonable distance should ride bikes
  11. Demolish condemned buildings on campus and turn them into parking lots
  12. get more bikes and unicycles
  13. Do not allow freshman to bring cars.
  14. I do not think that there is a parking problem.
  15. Interconnected tunnels would be fun and cost effective

Следом, полученные тексты перевели на английский той же программой, и 240 старшекурсников бизнес-факультета оценили их по следующей шкале: 1 = совсем не понятно, 2 =по большей части не понятно, 3 = непонятно более, чем понятно, 4 = сложно составить мнение, 5 = понятно больше, чем непонятно, 6 = понятна бóльшая часть, и 7= понятно с предельной ясностью. С каждым текстом обратного перевода с каждого языка работало приблизительно по 8 студентов, во избежание повторов.

В ещё одном исследовании (Айкен, и др., 2009a), из 15 фраз с сайта Omniglot (http://www.omniglot.com/) получили по две для каждого из 32 языков, ранее использованных в исследовании Айкена и Гоша, а затем перевели их на английский язык программой Google Translate. В ещё одном исследовании (Айкен, и др., 2009a), из 15 фраз с сайта Omniglot (http://www.omniglot.com/) получили по две для каждого из 32 языков, ранее использованных в исследовании Айкена и Гоша, а затем перевели их на английский язык программой Google Translate. However, no two languages shared the same sentences, and thus, direct comparisons between the languages were more difficult.

    1. How much is this?
    2. Where is the toilet?
    3. Would you write it down?
    4. Would you like to dance?
    5. Please speak more slowly.
    6. Pleased to meet you.
    7. My hovercraft is full of eels.
    8. One language is never enough.
    9. I don't understand.
    10. I love you.
    11. Please say that again.
    12. This gentleman will pay for everything.
    13. Where are you from?
    14. What's your name?
    15. Leave me alone.

В третей оценочной работе (Айкен, и др., 2009b), эквиваленты из 32 языков для пяти ниже представленных фраз были взяты с сайта Omniglot и переведены на английский с помощью Google Translate.

  1. Pleased to meet you.
  2. My hovercraft is full of eels.
  3. One language is never enough.
  4. I don't understand.
  5. I love you.

В каждой из этих исследований двое непредвзятых англофона оценили английский перевод по шкале:

  1. Текст логически чёток, прост для понимания и грамматически верен, не требует исправлений.
  2. В тексте встречаются мелкие погрешности, вроде неуместных предлогов или артиклей, но в прочих отношениях он безошибочен.
  3. Текст содержит мелкие ошибки и понятийные неточности, но смысл всё ещё понятен.
  4. Текст содержит мелкие ошибки и понятийные неточности, и требует определённых усилий для понимания.
  5. Текст является непостижимой тарабарщиной.

Результаты трёх исследований показаны ниже:

Айкен & Гош, 2009

Айкен, и др., 2009a

Айкен, и др., 2009b

выше оценка
лучше рез-т

ниже оценка лучше рез-т

ниже оценка лучше рез-т

Итальянский

5.78

Голландский

1.2

Голландский

1.3

Сербский

5.48

Датский

1.3

Чешский

1.4

Русский

5.47

Шведский

1.3

Китайский

1.5

Финский

5.14

Немецкий

1.4

Итальянский

1.5

Голландский

5.09

Норвежский

1.4

Корейский

1.5

Болгарский

5.03

Словенский

1.5

Португальский

1.5

Датский

4.98

Португальский

1.5

Французский

1.7

Литовский

4.95

Польский

1.6

Немецкий

1.7

Украниский

4.94

Чешский

1.7

Русский

1.7

Французский

4.91

Хорватский

1.8

Словацкий

1.7

Латвийский

4.9

Болгарский

1.8

Словенский

1.7

Шведский

4.9

Словацкий

1.9

Датский

1.8

Португальский

4.89

Русский

1.9

Норвежский

1.8

Норвежский

4.82

Французский

1.9

Болгарский

1.9

Каталанский

4.77

Румынский

1.9

Финский

1.9

Китайский

4.65

Филлипинский

2

Польский

1.9

Польский

4.63

Иврит

2

Филлипинский

2

Чешский

4.62

Латвийский

2

Иврит

2

Вьетнамский

4.6

Корейский

2.1

Шведский

2

Корейский

4.58

Итальянский

2.1

Хорватский

2.2

Немецкий

4.55

Каталанский

2.2

Каталанский

2.3

Хорватский

4.49

Сербский

2.2

Японский

2.3

Словацкий

4.47

Украниский

2.3

Сербский

2.4

Иврит

4.45

Финский

2.3

Украниский

2.4

Греческий

4.38

Греческий

2.3

Вьетнамский

2.4

Словенский

4.33

Китайский

2.4

Греческий

2.5

Индонезийский

4.3

Индонезийский

2.4

Индонезийский

2.5

Румынский

4.27

Хинди

2.5

Румынский

2.6

Арабский

4.15

Вьетнамский

2.6

Латвийский

3.1

Филлипинский

3.98

Японский

2.7

Хинди

3.2

Японский

3.77

Литовский

2.9

Арабский

3.4

Хинди

3.75

Арабский

3.3

Литовский

3.4

 

Анализ коэффициента корреляции Пирсона показал значительную отрицательную корреляцию между оценками двух первичных переводов текста с Omniglot (R = 0.553, p < 0.001), but these two ranking correlations were not significant at α = 0.05 with the RTT ranking (2009a: R= -0.288, p <0.110; 2009b: R = -0.333, p <0.063). Эти соотношения вышли отрицательными по причине того, что в первом исследовании лучшим результатом признавалась более высокая оценка, в двух последних - более низкая. И хотя обе корреляции не были чрезвычайно значимы, но рейтинг, полученный для ДП можно считать в достаточной степени коррелирующим с рейтингом ПП. В дальнейшем, необходимыми видятся исследования на предмет ПП и ДП с использованием тех же самых текстов, но с более полным анализом. Кроме того, представляется ясным тот факт, что ДП приносит некоторую пользу в плане выявления наиболее адекватного (в общем случае) результата переводов для некоторых языков (Голландский, Датский и Итальянский) и менее адекватного для других (Арабский, Хинди, Индонезийский).


Заключение

Сомерс (2006) указывает:

"Несмотря на господствующее в кругах специалистов автоматического перевода мнение о непригодности ДП в качестве средства оценки и, с другой стороны, популярности этого метода у широкой общественности, на данный момент почти отсутствуют научные работы, опытным путём демонстрирующие предполагаемые недостатки ДП."

Научная работа Сомерса свидетельствовала о ненадёжности метода ДП, т.к. результатом ей были высокие оценки BLEU и первичного перевода, в то время как сам этот перевод был неточен. С другой стороны, наше собственное исследование и, по меньшей мере, ещё одно (Сигенобу, 2007) показывает наличие предсказательной силы у этого метода. Требуются дополнительные испытания, с большим количеством людей-оценщиков и дополнительными автоматизированными технологиями.

Дп не идеален, но альтернатив нет. Для отдельно взятого предложения, не может быть уверенности означает ли хороший ДП соответствующего качества ПП, или наоборот. Но с длинными текстами, либо со множеством языковых пар, качество ДП вполне может отображать общую кондиционность используемой системы автоматического перевода. Плюс ко всему, ДП единственный метод, который можно использовать при отсутствии носителя целевого языка или эквивалентного текста на это языке.


Список использованной литературы

  1. Aiken, M. and Ghosh, K. (2009). Automatic translation in multilingual business meetings. Industrial Management & Data Systems, 109(7), 916-925.
  2. Aiken, M., Park, M., and Lindblom, T. (2009a). Integrating machine translation with group support systems. Working paper, University of Mississippi.
  3. Aiken, M., Park, M., Simmons, L., and Lindblom, T. (2009b). Automatic translation in multilingual electronic meetings. Translation Journal, 13(9), July.
  4. Callison-Burch, C., Osborne, M. and Koehn, P. (2006) "Re-evaluating the Role of BLEU in Machine Translation Research" in 11th Conference of the European Chapter of the Association for Computational Linguistics: EACL 2006 pp. 249-256.
  5. Chall, J. and Dale, E. (1995). Readability Revisited: The New Dale-Chall Readability Formula, Brookline Books: Cambridge, MA.
  6. Chan, S. (2006). A Dictionary of Translation Technology. Chinese University Press. Hong Kong.
  7. Coughlin, D. (2003). Correlating Automated and Human Assessments of Machine Translation Quality. MT Summit IX, New Orleans, USA, 23-27.
  8. Crystal, S. (2004). Back translation: Same questions - different continent. Communicate (London: Association of Translation Companies) (Winter 2004): p. 5. 
  9. Glidden-Tracey, C. and Greenwood, A. (1997). A validation study of the Spanish self-directed search using back-translation procedures. Journal of Career Assessment, 5(1), 105-113.
  10. Huang, X. (1990). A machine translation system for the target language inexpert. 13th International Conference on Computational Linguistics, COLING-90, Vol. 3, Helsinki, 364-367.
  11. Klaudy, K. (1996). Back-translation as a tool for detecting explicitation strategies in translation. In: Klaudy, K., & Lambert, J. & Sohár, A. (eds.) Translation Studies in Hungary. Budapest: Scholastica. 99-114.
  12. O'Connell, T. (2001). Preparing your web site for machine translation: How to avoid losing (or gaining) something in the translation.
  13. Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). BLEU: a method for automatic evaluation of machine translation in ACL-2002: 40th Annual meeting of the Association for Computational Linguistics pp. 311-318. Evaluation and usability of back translation for intercultural communication. Human-Computer Interaction (11), 259-265
  14. Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). A study of translation edit rate with targeted human annotation. Proceedings of the 7th Conference of the Association for Machine Translation in the Americas (AMTA-2006), pages 223-231, Cambridge, MA, August.
  15. Somers, H. (2006). Round-trip translation: What is It Good for? Proceedings of the Australasian Language Technology Workshop 2005.
  16. Somers, H. (2007). The use of machine translation by law librarians - a reply to Yates. Law Library Journal, 99, 611-619.
  17. Turian, J., Shen, L., and Melamed, I. (2003). Evaluation of machine translation and its evaluation. Proceedings of MT Summit IX, New Orleans, U.S.A.
  18. van Zaanen, M. and Zwarts, S. (2006). Unsupervised measurement of translation quality using multi-engine, bi-directional translation. AI 2006: Advances in Artificial Intelligence. Springer: Berlin, 1208-1214.
  19. Yamashita, N. and Ishida, T. (2006). Effects of machine translation on collaborative work. Proceedings of the 2006 20th-anniversary Conference on Computer Supported Cooperative Work. Banff, Alberta, Canada, 515-524.