«Яндекс Переводчик» с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT.

Об этом рассказала пресс-служба Яндекса.
Сгенерировано нейросетью Dall-E
В компании уточнили:
Внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обогнать таких лидеров, как Google Translate, ChatGPT и DeepL. Рейтинг опубликовали ведущие мировые центры изучения языка в машинном обучении — итальянские институты Sapienza и SSML Carlo Bo.
Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, помимо «Яндекс Переводчика» с YandexGPT, приняли участие 22 системы перевода. Так, большая языковая модель Яндекса обошла, например, GPT-4, Gemma 2 9b, Llama-3 8b и другие нейросети.
Иллюстрация: Яндекс / DiBiMT
Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей и был сформирован публичный рейтинг.