1 тема: Библиотека Pandas. Предобработка данных

Чтение CSV-файлов. Датафрейм. Вывод первых и последних строк датафрейма. Индексация в датафреймах. Объект Series. Индексация в столбцах Series. Переименование столбцов датафрейма. Обработка пропущенных значений. Обработка явных и неявных дубликатов.

2 тема: Работа с данными в Jupyter Notebook

Группировка данных. Сортировка данных. Основы описательной статистики. Оформление результатов.

Интерфейс и шорткаты Jupyter Notebook.

3 тема: Работа с пропусками

Конверсия. Куки. Категориальные и количественные переменные, обработка пропусков в них. Обработка пропусков в количественных переменных по категориям.

4 тема: Изменение типов данных

Чтение Excel-файлов. Преобразование Series к числовому типу. Модуль числа, метод abs(). Работа с датой и временем. Обработка ошибок, оператор try-except. Объединение датафреймов, метод merge(). Сводные таблицы.

5 тема: Оптимизация данных и мышление

Методы поиска дубликатов. Декомпозиция таблиц. Категоризация по числовым диапазонам. Категоризация на основе нескольких значений в строке.

Системное мышление. Причины ошибок в данных. Критическое мышление.

6 тема: Визуализация данных и анализ

Применение сводных таблиц. Гистограмма. Линейный график. Точечный график. Распределения. Диаграмма размаха.

7 тема: Изучение срезов данных

Метод query(). Работа с датой и временем. Построение графиков методом plot(). Бритва Оккама.

8 тема: Манипуляции с данными и объединение таблиц

Срез данных на основе внешних объектов. Добавление новых столбцов в датафрейм. Добавление данных из других датафреймов. Переименование столбцов. Объединение таблиц.

9 тема: Взаимосвязь данных.

Диаграмма рассеяния. Корреляция переменных. Матрица диаграмм рассеяния.

Укрупнение групп. Разбиение данных по группам.

10 тема: Описательная статистика

Мода, медиана, среднее, дисперсия, стандартное отклонение, квартили, процентили, диаграмма размаха, столбчатая диаграмма, плотность частоты, гистограмма, дискретные и непрерывные, распределение вероятностей для дискретной случайной величины, кумулятивная функция, математическое ожидание и дисперсия.

11 тема: Теория вероятностей

вероятностное пространство, пересекающиеся и взаимоисключающие события, диаграмма Эйлера-Венна, непрерывное равномерное, нормальное, стандартное нормальное, Пуассона. Закон больших чисел, эксперимент Бернулли, биномиальный эксперимент.

12 тема: Проверка гипотез

Генеральная совокупность. Выборка. Выборочное распределение. Центральная предельная теорема. Односторонние и двусторонние гипотезы. P-Value. Проверка гипотезы о равенстве средних двух генеральных совокупностей.

1 тема: Введение в базы данных

База данных, СУБД, синтаксис языка SQL. Что такое клиент-серверные СУБД. Основные принципы работы клиент-серверных СУБД. Что такое клиент БД. Установка сервера PostgreSQL. Установка DBeaver. Знакомство с интерфейсов. Создание базы данных.

2 тема: Создание базы данных через SQL

Создание и удаление баз данных. Создание и удаление таблиц. Манипулирование данными.

Типы данных для колонок таблиц

3 тема: Срезы данных

ER-диаграмма. Логические и специальные операторы в SQL. Операторы работы с датой и временем. Обработка специальных значений. Условные конструкции в SQL-запросах.

4 тема: Группировка и сортировка

Агрегирующие функции и их применение. Группировка данных. Сортировка данных. Группировка и сортировка по нескольким полям. Операторы HAVING, GROUP BY.

5 тема: Связи и объединения таблиц

ER-диаграммы. Псевдонимы. Виды объединения таблиц. Оператор JOIN. Оператор INNER JOIN. Операторы LEFT OUTER JOIN и RIGHT OUTER JOIN. Оператор FULL OUTER JOIN. Виды присоединения: UNION и UNION ALL.

6 тема: Подзапросы

Общие табличные выражения. Различие между подзапросом и присоединением. Работа со строками в PostgreSQL.

7 тема:Дополнительные возможности SQL

Обобщённое табличное выражение, оператор WITH.

Объединение запросов, оператор Union.

Условная логика, оператор CASE.

Условная функция IF

8 тема: Работа с типами данных

Числовой тип данных в SQL

Дата и время в SQL

Функции преобразования типов, CAST

9 тема: Оконные функции

Что такое схема данных. Исследование данных. Как утроены оконные функции. Определение окна. Операторы окна. Функция ранжирования. Агрегирующие оконные функции. Расчет кумулятивных значений. Функции смещения.

10 тема: Транзакции

Блокировки в СУБД

Создание транзакций. Запуск и завершение транзакций. Точки сохранения транзакции

11 тема: Представления

Что такое представление

Пример создания представления

Общий синтаксис представления

Зачем нужны представления

12 тема: Индексы

Создание индекса

Удаление индекса

Уникальные (UNIQUE) индексы

Многостолбцовые индексы

Как используются индексы