(Gif: Google)
Благодаря искусственному интеллекту путешествовать за границу еще никогда не было так просто.
Приложение Google Translate позволяет пользователям мгновенно переводить текст. В приложении просто наведите камеру на текст, который вы хотите перевести, и вы увидите, как он трансформируется в нужный язык прямо у вас на глазах - без подключения к Интернету или данных мобильного телефона. Эта удобная функция была доступна уже некоторое время, но была совместима только с семью языками. Сейчас Благодаря машинному обучению Google обновил приложение, чтобы мгновенно переводить на 27 языков.
«Так что в следующий раз, когда вы будете в Праге и не сможете читать меню, мы вас ответим», - написал Отавио Гуд, инженер-программист в Google, об исследовании компании Блог .
Google также просто использовал искусственный интеллект, чтобы вдвое сократить количество ошибок распознавания речи.
На сегодняшний день, помимо перевода между английским, французским, немецким, итальянским, португальским, русским и испанским языками, следующие 20 языков также могут быть переведены в режиме реального времени: болгарский, каталонский, хорватский, чешский, датский, голландский, филиппинский, Финский, венгерский, индонезийский, литовский, норвежский, польский, румынский, словацкий, шведский, турецкий и украинский. А если вы решите сделать снимок, а не смотреть, как переводится текст в реальном времени, в общей сложности поддерживаются 37 языков.
Так как же Google смог увеличить количество доступных языков? Сначала они приобрели Word Lens, ранее являвшееся приложением для перевода с дополненной реальностью, и использовали машинное обучение и сверточные нейронные сети для расширения возможностей приложения. Достижения в распознавании изображений были ключевыми.
Пять лет назад, если вы дали компьютеру изображение кошки или собаки, он не мог определить, что из них. По словам г-на Гуда, благодаря сверточным нейронным сетям компьютеры могут не только различать кошек и собак, но и различать породы собак. Да, они годятся не только для триповый арт - если вы переводите иностранное меню или подписываетесь с помощью последней версии приложения Google Translate, теперь вы используете глубокую нейронную сеть.
Шаг за шагом
Первый , Переводчик должен убрать беспорядок на фоне и найти текст. Когда он находит капли пикселей одного цвета, он определяет, что это буквы. И когда эти капли находятся близко друг к другу, он понимает, что это непрерывная линия, которую нужно прочитать.
Следующий, приложение должно распознавать каждую букву в отдельности. Здесь на помощь приходит глубокое обучение.
Мы используем сверточную нейронную сеть, обучая ее буквам и не буквам, чтобы она могла узнать, как выглядят разные буквы, - читает сообщение в блоге.
Исследователям пришлось обучить программу, используя не только чистые буквы, но и грязные. Буквы в реальном мире испещрены отражениями, грязью, пятнами и всевозможными странностями, писал г-н Гуд. Поэтому мы создали наш генератор писем, чтобы создавать всевозможные поддельные грязи, чтобы убедительно имитировать шум реального мира - поддельные отражения, поддельные пятна, фальшивые странности повсюду. 
Некоторые грязные буквы используются для обучения. (Фото: Google)
В в третьих step ищет распознанные буквы в словаре, чтобы получить перевод. И для дополнительной попытки точности поиск по словарю является приблизительным, если S неправильно прочитано как 5.
Наконец, переведенный текст отображается поверх оригинала в том же стиле.
Мы можем это сделать, потому что мы уже нашли и прочитали буквы на изображении, поэтому мы точно знаем, где они находятся. Мы можем смотреть на цвета, окружающие буквы, и использовать их для стирания исходных букв. А затем мы можем нарисовать перевод сверху, используя исходный цвет переднего плана, говорится в сообщении в блоге.
Чтобы быть максимально эффективными и позволять выполнять все эти шаги в реальном времени без подключения к Интернету или передаче данных, команда Google разработала очень маленькую нейронную сеть с верхней границей плотности информации, которую она может обрабатывать. Поскольку они генерировали свои собственные обучающие данные, было важно включить правильные данные, но ничего лишнего, чтобы нейронная сеть не использовала слишком много своей плотности информации для несущественных вещей. Примером может служить то, как ему нужно распознать букву с небольшим поворотом, но не слишком большим.
В итоге у пользователей остается еще 20 языков, но такая же высокая скорость.
СМОТРИ ТАКЖЕ: команда Google AI рассказала нам о своих исследованиях в области машинного обучения
