«Яндекс» освоил перевод текстов с картинок, сохраняя игру слов

Компания «Яндекс» представила обновление технологии перевода текста с изображений, основанной на нейросети YandexGPT, говорится в пресс-релизе. Специалисты создали адаптированную модель, которая позволяет сохранять стиль оригинала, включая игру слов и верстку, такие как шрифт и размер букв.

Это новшество будет полезно, например, при путешествиях для быстрого перевода меню в ресторанах, а также для работы с технической документацией на иностранных языках. Обновление, поддерживающее несколько десятков языков, уже доступно в «Яндекс Переводчике» и в браузере, а вскоре появится и в приложении «Умная камера».

В компании отметили, что они одними из первых применили большую языковую модель для улучшения перевода. Такая модель обучена на обширных текстовых данных и способна самостоятельно формировать текстовые сообщения. Принцип работы схож с популярными нейросетями, такими как ChatGPT.

Модель YandexGPT обучалась на парах оригинальных и переведенных текстов. В ходе обучения нейросеть сопоставляла эталонные и некачественные примеры, ориентируясь только на качественные и точные переводы, предотвращая добавление неверных данных.