Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Coursera

Создаем Web Crawler при помощи языка Python

E-Learning Development Fund via Coursera

This course may be unavailable.

Overview

Save Big on Coursera Plus. 7,000+ courses at $160 off. Limited Time Only!
В этом курсе вы изучите основные библиотеки для реализации краулера и узнаете, какие "подводные камни" есть у этого процесса и какие готовые инструменты можно использовать.

Вы будете работать с API, определять его адрес на сайте и использовать его. Узнаете о методах защиты API и о том, как их обходить.

Вы разберете большое количество примеров и способов обходить защиту в той или иной ситуации и будете уметь строить проект таким образом, чтобы его легко можно было масштабировать.

Курс рассчитан на IT-специалистов, в т.ч. веб-разработчиков, специалистов по безопасности и желающих ими стать.

Syllabus

  • Основные инструменты и понятия для работы с Web Crawler
    • На первой неделе вы разберете основные понятия и инструменты, необходимые для реализации краулера, будете работать с библиотеками Scapy и Selenium, а также научитесь реализовывать простой краулер, работающий с многостраничным сайтом
  • Реализация Web Crawler для сбора всех ссылок на сайте
    • Вторая неделя посвящена реализации и анализу краулеров для сбора ссылок на сайте. На этой неделе вы напишете краулер, который находит все ссылки и очищает их, реализуете краулер с использованием библиотеки Scrapy и реализуете брут-форс для поиска адресов сайта.
  • Реализация Web Crawler для работы с уязвимостями в API
    • Третью неделю вы будете изучать, как выявить на сайте API и реализовать краулер для взаимодействия с ним. По итогу вы научитесь анализировать API на предмет уязвимости, реализуете на python взаимодействие с уязвимыми API
      и примените уязвимости в API.
  • Реализация сложных проектов. Обход защиты серверов
    • Четветрая неделя позволит вам разобрать более сложные инструменты для реализации краулеров. Вы научитесь использовать дополнительные инструменты Scrapy для реализации более сложных проектов, научитесь находить и считать данные с API сервиса и реализовывать краулер с использованием Selenium для взаимодействием с js страницы

Taught by

Гайк Инанц

Reviews

Start your review of Создаем Web Crawler при помощи языка Python

Never Stop Learning.

Get personalized course recommendations, track subjects and courses with reminders, and more.

Someone learning on their laptop while sitting on the floor.