1 тема: Библиотека Pandas. Предобработка данных
Чтение CSV-файлов. Датафрейм. Вывод первых и последних строк датафрейма. Индексация в датафреймах. Объект Series. Индексация в столбцах Series. Переименование столбцов датафрейма. Обработка пропущенных значений. Обработка явных и неявных дубликатов.
2 тема: Работа с данными в Jupyter Notebook
Группировка данных. Сортировка данных. Основы описательной статистики. Оформление результатов.
Интерфейс и шорткаты Jupyter Notebook.
3 тема: Работа с пропусками
Конверсия. Куки. Категориальные и количественные переменные, обработка пропусков в них. Обработка пропусков в количественных переменных по категориям.
4 тема: Изменение типов данных
Чтение Excel-файлов. Преобразование Series к числовому типу. Модуль числа, метод abs(). Работа с датой и временем. Обработка ошибок, оператор try-except. Объединение датафреймов, метод merge(). Сводные таблицы.
5 тема: Оптимизация данных и мышление
Методы поиска дубликатов. Декомпозиция таблиц. Категоризация по числовым диапазонам. Категоризация на основе нескольких значений в строке.
Системное мышление. Причины ошибок в данных. Критическое мышление.
6 тема: Визуализация данных и анализ
Применение сводных таблиц. Гистограмма. Линейный график. Точечный график. Распределения. Диаграмма размаха.
7 тема: Изучение срезов данных
Метод query(). Работа с датой и временем. Построение графиков методом plot(). Бритва Оккама.
8 тема: Манипуляции с данными и объединение таблиц
Срез данных на основе внешних объектов. Добавление новых столбцов в датафрейм. Добавление данных из других датафреймов. Переименование столбцов. Объединение таблиц.
9 тема: Взаимосвязь данных.
Диаграмма рассеяния. Корреляция переменных. Матрица диаграмм рассеяния.
Укрупнение групп. Разбиение данных по группам.
10 тема: Описательная статистика
Мода, медиана, среднее, дисперсия, стандартное отклонение, квартили, процентили, диаграмма размаха, столбчатая диаграмма, плотность частоты, гистограмма, дискретные и непрерывные, распределение вероятностей для дискретной случайной величины, кумулятивная функция, математическое ожидание и дисперсия.
11 тема: Теория вероятностей
вероятностное пространство, пересекающиеся и взаимоисключающие события, диаграмма Эйлера-Венна, непрерывное равномерное, нормальное, стандартное нормальное, Пуассона. Закон больших чисел, эксперимент Бернулли, биномиальный эксперимент.
12 тема: Проверка гипотез
Генеральная совокупность. Выборка. Выборочное распределение. Центральная предельная теорема. Односторонние и двусторонние гипотезы. P-Value. Проверка гипотезы о равенстве средних двух генеральных совокупностей.
1 тема: Введение в базы данных
База данных, СУБД, синтаксис языка SQL. Что такое клиент-серверные СУБД. Основные принципы работы клиент-серверных СУБД. Что такое клиент БД. Установка сервера PostgreSQL. Установка DBeaver. Знакомство с интерфейсов. Создание базы данных.
2 тема: Создание базы данных через SQL
Создание и удаление баз данных. Создание и удаление таблиц. Манипулирование данными.
Типы данных для колонок таблиц
3 тема: Срезы данных
ER-диаграмма. Логические и специальные операторы в SQL. Операторы работы с датой и временем. Обработка специальных значений. Условные конструкции в SQL-запросах.
4 тема: Группировка и сортировка
Агрегирующие функции и их применение. Группировка данных. Сортировка данных. Группировка и сортировка по нескольким полям. Операторы HAVING, GROUP BY.
5 тема: Связи и объединения таблиц
ER-диаграммы. Псевдонимы. Виды объединения таблиц. Оператор JOIN. Оператор INNER JOIN. Операторы LEFT OUTER JOIN и RIGHT OUTER JOIN. Оператор FULL OUTER JOIN. Виды присоединения: UNION и UNION ALL.
6 тема: Подзапросы
Общие табличные выражения. Различие между подзапросом и присоединением. Работа со строками в PostgreSQL.
7 тема:Дополнительные возможности SQL
Обобщённое табличное выражение, оператор WITH.
Объединение запросов, оператор Union.
Условная логика, оператор CASE.
Условная функция IF
8 тема: Работа с типами данных
Числовой тип данных в SQL
Дата и время в SQL
Функции преобразования типов, CAST
9 тема: Оконные функции
Что такое схема данных. Исследование данных. Как утроены оконные функции. Определение окна. Операторы окна. Функция ранжирования. Агрегирующие оконные функции. Расчет кумулятивных значений. Функции смещения.
10 тема: Транзакции
Блокировки в СУБД
Создание транзакций. Запуск и завершение транзакций. Точки сохранения транзакции
11 тема: Представления
Что такое представление
Пример создания представления
Общий синтаксис представления
Зачем нужны представления
12 тема: Индексы
Создание индекса
Удаление индекса
Уникальные (UNIQUE) индексы
Многостолбцовые индексы
Как используются индексы