Overview

Save Big on Coursera Plus. 7,000+ courses at $160 off. Limited Time Only!

Grab it

Berm vindo ao curso de Processamento Neural de Linguagem Natural em Português I, oferecido pelo Departamento de Ciência da Computação do Instituto de Matemática e Estatistica da USP, com apoio do C4AI – USP-IBM-Fapesp Center for Artificial Intelligence e com apoio da Google. Neste curso você irá aprender como o Machine learning (aprendizado de máquina) pode ser usado para processar textos em português. No final deste curso você já será capaz de escrever programas em Python de treinamento e execução de tarefas como classificação de textos, análise de sentimentos e traduções básicas, dentre outras aplicações de redes neurais em inteligência artificial. O curso é ministrado em português e utiliza como exemplos o processamento de textos em português brasileiro. O curso é dividido em 6 módulos. Os tópicos cobertos são: Modulo 1: Introdução à linguística computacional Modulo 2: Introdução às redes neurais Modulo 3: Processamento Neural de Língua e Representação de palavras Modulo 4: word2vec Modulo 5: Redes Neurais Recorrentes e Processamento Sequência-para-sequência Modulo 6: Redes LSTM e GRU O curso utiliza as bibliotecas do pacote Tensor Flow para Python, que podem ser baixados gratuitamente. Venha participar! Prof. Marcelo Finger e equipe do IME USP

Syllabus

Introdução ao Processamento de Língua Natural e ao Curso

Bem-vindos! Neste módulo iremos apresentar o estudo computacional da linguagem, modelos gramaticais., modelos probabilísticos e modelos neurais. Este último será explorado nos próximos módulos. Você também será introduzido a problemas típicos de processamento de língua natural

Introdução às Redes Neurais

Neste modulo iremos apresentar uma visão moderna sobre redes neurais Feed-forward, também chamadas de Perscétrons Multicamadas. Iremos detalhar como esta arquitetura de rede neural funciona, como ela pode ser treinada e como ela é aplicada em tarefas de classificação.

Procesamento Neural de Língua e Representação de Palavras

Neste módulo você irá aprender como palavras podem ser representadas por uma sequência de valores (inserção num espaço multidimensional) e como sequências de palavras podem ser processadas com estes modelos simples.

word2vec

A revolução do processamento neural de linguagem começou com métodos capazes de representar palavras de forma a codificar os contextos em que elas ocorrem com mais frequência. O werd2vec foi um dos principais métodos que realizaram esta transição, e neste modulo iremos estudá-lo em detalhe.

Modelos Neurais Recorrentes (RNNs)

Para processar sequências cada vez maiores de palavras é necessário capturar o contexto em que elas ocorrem. As redes neurais recorrentes visam solucionar este problema. No entanto elas introduziram novos desafios os quais serão explicados neste módulo. Iremos também abordar o modelo sequência-para-sequência que se iniciou com as redes recorrentes e que é usado largamente até hoje.

Modelos Recorrentes na Prática: LSTM e GRU

As redes LSTM (Long Short Term Memory) são uma arquitetura recorrente que permite balancear informações de contextos recentes e distantes e assim enfrentando os desafios introduzidos pela recorrência e possibilitando o verdadeiro processamento de textos de tamanho ilimitado. As redes GRU são uma simplificação deste modelo.