Overview

Данный курс научит вас строить модели естественных языков, звуков и других последовательных данных. Благодаря глубокому обучению последовательные алгоритмы сегодня работают в разы лучше, чем ещё два года назад. Это открывает широчайший спектр возможностей применения алгоритмов в распознавании речи, синтезе музыки, чат-ботах, машинном переводе, понимании естественных языков и во многом другом. Вы научитесь: — строить и обучать рекуррентные нейронные сети (РНС, RNN), а также широко используемые управляемые рекуррентные блоки (УРБ, GRU) и долгую краткосрочную память (ДКП, LSTM); — применять последовательные модели в задачах по обработке естественного языка, включая синтез текста; — применять модели последовательностей к звуковой информации, например для распознавания речи или синтеза музыки. Это пятый и заключительный курс специализации «Глубокое обучение». Задача по программированию машинного перевода с глубоким обучением, содержащаяся в этом курсе, разработана deeplearning.ai совместно с партнером — Институтом глубокого обучения NVIDIA (DLI). У вас будет возможность создать проект по глубокому обучению с современным, актуальным для индустрии содержанием.

Syllabus

Рекуррентные нейронные сети

В этом разделе вы познакомитесь с принципами работы рекуррентных нейронных сетей (РНС, RNN). Этот тип сетей показывает прекрасную работу с темпоральными данными и существует в нескольких вариантах, таких как LSTM (ДКП), GRU (УРБ), и двунаправленная РНС (Bidirectional RNN), о которых вы узнаете в этом разделе.

Обработка естественного языка и векторное представление слов

Сочетание обработки естественного языка и глубокого обучения — очень важное сочетание. Используя векторное представление слов и слои встраивания, вы сможете обучать рекуррентные нейронные сети, добиваясь выдающейся производительности в широком спектре областей. Примеры применения: анализ тональности текста, распознавание именованных сущностей и машинный перевод.

Последовательные модели и механизм внимания

Последовательные модели могут быть дополнены с использованием механизма внимания. С помощью этого алгоритма ваша модель сможет понять, на чем следует сосредоточить внимание, с учетом последовательности входных данных. На этой неделе вы также узнаете о распознавании речи и работе с аудиоданными.