Е-Центр запускает трехдневный ознакомительный воркшоп по парсингу, визуализации и анализу данных. Вы узнаете, как собирать данные из открытых источников, преобразовывать, обобщать и анализировать их, используя Python, R и свой интеллект. На сессиях будет также рассмотрено несколько прикладных задач из математической статистики и смежной с ней науки – теории вероятностей.

ПРЕПОДАВАТЕЛИ

Юрий Агафонов
Младший научный сотрудник Е-центра
Исследователь Центра институционального анализа науки и образования ЕУСПб

Михаил Соколов
Старший научный сотрудник факультета экономики ЕУСПб

СЕССИЯ 1. СБОР ДАННЫХ И ПРОГРАММИРОВАНИЕ: РАБОТА СО СТАТИЧЕСКИМ САЙТОМ, ПАРСИНГ СТАТИЧЕСКИХ САЙТОВ С ПОМОЩЬЮ PYTHON

• Сбор данных – онлайн-революция. Скрейпинг.

• Парсинг Структура web-сайта
• Парсинг статического сайта в Python

ЗАДАЧИ ПЕРВОЙ СЕССИИ:

1. познакомиться с ролью программирования при сборе данных;
2. начать работу в Python и познакомиться с основными элементами языка программирования и логикой написания кода;
3. написать простой парсер статического сайта.

СЕССИЯ 2. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА: ПРИМЕРЫ И ЗАДАЧИ

• Типичные задачи теории вероятностей и математической статистики

• Примеры приложений теории вероятностей

• Примеры приложений математической статистики

ПО РЕЗУЛЬТАТАМ СЕССИИ ВЫ УЗНАЕТЕ:

1) каким странам имеет смысл ввести и в какой момент отказаться от обязательного экспресс-тестирования на COVID-19;
2) какова оптимальная стратегия выбора жениха/невесты;
3) как оценить численность популяции карасей в пруду;
4) как математическая статистика помогла сократить потери союзнических сил при десантной операции в Нормандии во время Второй мировой войны в 1944 году;
5) как проверить были ли налаженные торговые связи между Арменией и Великобританией в XVII веке;
6) как оптимальным образом организовать поиск затонувших кораблей;
7) является ли М.А. Шолохов автором «Тихого Дона» (роман, за который в 1965 году ему была присуждена нобелевская премия по литературе).

СЕССИЯ 3. ТРАНСФОРМАЦИЯ И ВИЗУАЛИЗАЦИЯ ДАННЫХ В R

• Типы данных и объекты в R
• Предобработка данных с помощью dplyr
• Визуализация с помощью ggplot2

ЗАДАЧИ ВТОРОЙ СЕССИИ:

1. начать работу в R и познакомиться с основными элементами языка программирования и логикой написания кода;
2. познакомится с основными методами трансформации данных;
3. познакомиться с основами визуализации, соотношением типов графиков и типов данных;
4. визуализировать данные, собранные во время первой сессии.