ФИНАНСОВЫИ УЧЕБНОЕ ПОСОБИЕ УНИВЕРСИТЕТ ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ О.А. Баюк М.Р. Исаева М.О. Самсонкин ПРАКТИКУМ ПО АНАЛИЗУ ДАННЫХ НА ЯЗЫКАХ PVTHON И R J~ ~!~~ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ <(ФИНАНСОВЫЙ УНИВЕРСИТЕТ ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ ►> (ФИНАНСОВЫЙ УНИВЕРСИТЕТ) Департамент математики О.А. Баюк, М.Р. Исаева, М.О. Самсон:кин ПРАКТИКУМ ПО АНАЛИЗУ ДАННЫХ НА ЯЗЫКАХ PYTHON И R Учебное пособие по дисциплине <<Анализ данных>> для студентов, обучающихся по направлениям <<Экономика>> <<Бизнес-информатика>> МОСКВА Б33 Авторы: О. А. Ваюк, кандидат технических наук, доцент Депар тамента математики, Финансовый университет; М.Р. Исаева, студентка третьего курса факультета эко номики и бизнеса Финансового университета; М.О. Са.мсонжин, студент третьего курса факультета экономики и бизнеса Финансового университета. Практикум по анализу данных на языках Python R: Учебное пособие / О.А. Баюк, М.Р. Исаева, М.О. Самсонкин. М.: Прометей, 2023. 100 с. Б33 и Данное учебное пособие предназначено для студентов очного отделения, изучающих дисциплину <<Анализ дан ных>> . Пособие написано в соответствии с программой дисци плины <<Анализ данных >>. Оно предназначено для подготовки бакалавров по направлениям << Экономика >> и <<Бизнес- инфор матика>> Финуниверситета. В пособии отражены темы: выбо рочный метод, точечные и интервальные оценки, проверка статистических гипотез, корреляционный анализ, диспер сионный анализ и анализ временных рядов. Пособие может быть использовано как для проведения семинарских занятий, так и для организации самостоятельной работы студентов. © Коллектив авторов, 2023 © Издательство <<Прометей>>, 2023 ОГЛАВЛЕНИЕ Введение ......................................................................................... 5 . Выполнение расчетно-аналитической работы с помощью языка PYTHON .......................................................... 8 1.1. Загрузка программы .. . ................. . ....... . ................. 8 1. 2. Загрузка исходных данных ..................................... 1 О 1. 3. Оптимизация данных и вычисление дополнительных признаков для каждой компании ..... 14 1.4. Исследование изменения цен и проведение корреляционного анализа ... ... .......... .. ........ .. ... ....... 18 1. 5. Исследование логарифмических доходностей акций ......................................... ........ .............. ... 27 1.6. Удаление выбросов логдоходностей акций .............. .. 28 1. 7. Проверка гипотез о нормальности логдоходностей для каждой компании ........ ..... .. .. ... .... ... .... ....... .. .... 3 7 1. 7 .1. Проверка гипотезы по критерию Пирсона ........ 39 1. 7.2. Проверка гипотезы по критерию ШапироУилка .................................................................. 41 1. 7.3. Проверка гипотезы по критерию Колмогорова-Смирнова ......................................... 44 1.8. Интервальные оценки параметров логарифмических доходностей. Определение доверительного интервала ............. ......................... 46 1. 9. Тест Левена для проверки гипотезы о равенстве дисперсий тикеров ..... . ................. . ....... . ................ 4 7 1.10. Проверка гипотезы о равенстве логдоходностей компаний с помощью Т-критерия Стьюдента ........... .. 48 1.11. Влияние пандемии на цены акций. Проверка гипотезы об изменении средней после пандемии с помощью Т-критерия Стьюдента .. ........ .............. ... 49 1.12. Однофакторный дисперсионный анализ по периодам ................................ ......................... 52 1.13. Исследование тесноты связи между логдоходностями компаний ... ... ..... ... ... .... .... .. ...... .. . 55 . Выполнение расчетно-аналитической работы с помощью языка R ..................................................................... 58 2 .1. Загрузка программы ............................................. 58 2. 2. Загрузка исходных данных ..................................... 60 2.5. Исследование логарифмических доходностей акций .................................................................. 80 2.6. Удаление выбросов логдоходностей акций ................ 81 2. 7. Проверка гипотез о нормальности логдоходностей для каждой компании ............................................ 84 2. 7.1. Проверка гипотезы по критерию Пирсона ........ 86 2. 7. 2. Проверка гипотезы по критерию Шапиро-Уилка ................................... 8 7 2. 7.3. Проверка гипотезы по критерию Колмогорова-Смирнова ......................................... 88 2.8. Интервальные оценки параметров логарифмических доходностей. Определение доверительного интервала ...................................... 89 2. 9. Тест Фишера для проверки гипотезы о равенстве дисперсий тикеров ................................................ 90 2.10. Проверка гипотезы о равенстве логдоходностей компаний с помощью Т-критерия Стьюдента ............. 91 2.11. Влияние пандемии на цены акций. Проверка гипотезы об изменении средней после пандемии с помощью Т-критерия Стьюдента ........................... 92 2 .12. Однофакторный дисперсионный анализ по периодам ......................................................... 95 Заключение .................................................................................. 97 Список литера туры ..................................................................... 98 ВВЕДЕНИЕ В предлагаемом пособии сформулировано задание по расчетно-аналитической работе (Р АР) по дисциплине <<Анализ данных>> и приведены рекомендации по выпол нению этого задания использованием средств про граммирования RStudio и Python. Определены отличия в выполнении задания на разных языках программиро вания и сделаны выводы об удобстве использования каж дого средства программирования на каждом этапе рас четно-аналитической работы. Python - это высокоуровневый, интерпретируе мый язык программирования, построчно выполняющий заданные программы при помощи интерпретатора 1 . Дан ный язык отличается значительной простотой и удоб ством использования. Python поддерживает разные файлы, такие как файлы CSV, файлы Excel, XML и JSON, и используется для решения широкого круга задач: прове дения научных исследований, машинного обучения, веб разработок и многого другого. Python удобен для выпол нения статистических исследований данных больших объемов. Не менее популярным языком программирования для проведения анализа данных является R. Это про граммная среда имеет обширный набор библиотек, позво ляющих совершать глубокий статистический анализ. Основное преимущество использования R заключается в том, что его можно применять для реализации стати стических концепций, таких как линейное и нелинейное моделирование, анализ временных рядов, кластеризация. R позволяет обрабатывать различные структуры данных, такие как векторы, списки, матрицы, массивы, факторы и фреймы данных. Таким образом, обширный функционал самых попу лярных языков программирования и удобство их исполь1 Сузи, Р.А. Язык программирования Python: Курс лекций. 3 с. зования для построения статистических моделей и про ведения анализа больших объемов данных подчеркивает актуальность данного методического пособия. ЗАДАНИЕ ПО РАР 1. Скачать дневные цены закрытия акций в течение 4-7 лет (например, 2015-2019). Варианты по 3 компании для каждого студента фор мировать с указанием следующих параметров (тикеры для каждого варианта должен сообщить преподаватель): тикер компании, начальная дата (например, 208 дат с недельным шагом с января 2015 г.) 2. Вычислить следующие признаки для каждой компании: логарифм цены, логарифмическую доходность (логдоходность), логарифм объёма. 3. Выполнить следующие исследования: предварительная обработка данных, о пи са тельная статистика, найти выбросы и построить диаграммы << Ящик с усами>>, построить диаграммы рассеяния для логарифмов цен и логарифмов объёмов торгов. 4. Удалить строки с выбросами в логдоходностях всех трех компаний. 5. Выполнить повторение предварительного исследо вания с данными без выбросов: привести описательную статистику, построить диаграмму <<Ящик с усами>> и диа граммы рассеяния, построить гистограммы интерваль ных частот и эмпирическую функцию распределения. 6. Выполнить детальный анализ логдоходностей для каждой компании с данными без выбросов: 6.1. вычислить точечные оценки параметров нор мального распределения; 6.2. построить интервальные оценки параметров нор мального распределения; 6.3. построить диаграммы, содержащие гистограмму эмпирической плотности и график теоретической плотно сти распределения; 6.4. построить графики эмпирической функции рас пределения и графики теоретической функции распреде ления. проверить гипотезу о нормальности логдоходно стей по критерию хи-квадрат, по критерию Шапиро-Уилка и по критерию Колмогорова-Смирнова. 6.5. сравнить результаты проверки по трем крите риям; 6.6. для каждой акции проверить на 5%-ном уровне значимости гипотезу о том, что дисперсии тикеров равны, в каждом случае вычислить также наблюдаемый уровень значимости (p-value). 6. 7. проверить гипотезы о равенстве средних значе ний логарифмической доходности компаний (двусторон ний t-тест без каких-либо предположений об однородно сти дисперсий); 6. 8. проверить гипотезы о влиянии пандемии на цены и доходности акций, проверить гипотезы об изменении средний с помощью критерия Стьюдента. 7. Выполнить однофакторный дисперсионный анализ для исследования зависимости средних значений логдо ходностей от номера года. 8. Исследовать тесноту связи между логдоходно стями. 9. Оформить соответствующий выполненной работе отчёт в MS Word с формулами и с подробным описанием всех процедур, а также с таблицами и рисунками, на кото рых должны присутствовать все необходимые обозначения. ВЫПОЛНЕНИЕ РАСЧЕТНО-АНАЛИТИЧЕСКОЙ РАБОТЫ С ПОМОЩЬЮ ЯЗЫКА PYTHON Прежде чем перейти к выполнению работы с помо щью языка программирования Python, необходимо обо сновать его актуальность и востребованность для реше ния данной задачи. В отличие от привычной программы Microsoft Excel, позволяющей выполнять статистические исследования и визуализировать данные простых инструментов, при помощи Python позволяет быстро ана лизировать большие объемы данных с использованием углубленной аналитической базы, строить модели и визу ализировать полученные результаты. Широкий доступ к различным высокоэффективным библиотекам делает Python наиболее доступным и удобным языком програм мирования, предназначенным для анализа данных. Осо бенно хорошо Python показывает себя при работе с боль шими данными (Big Data), анализ которых в среде Excel попросту невозможен ввиду ограничения на число строк (1048576). 1.1. Загрузка программы Для начала необходимо загрузить утилиту Anaconda, где можно будет использовать окружение Jupiter N otebook. Для этого нужно открыть официальный сайт Anaconda.com, выбрать требующуюся разрядность и запустить установочный файл. (ссылка для скачива ния: https: / / www .anaconda.com/products/ distribution). lrv1r.'ldu.31 Edfltt:Wt IS now ANACONDA DISTRIBUTION Anaconda Distribu-.ion The wortd's most popu iar open source Python distribution piatform Downlo;ю for Wonclows Pytho,, 3 9 • 64•1\,t C<>p"'t,,,,.,d, tnl~otti.rcomPIJl'ГO\lnc,,ьao;. iь.,,-.,t,c-Uc...mon.,I .... hyou't\HIМ\ «t\"ro:11111f'nt. Ш dnd •un IJUlkV\ , ~ doa"°"'l@dtsrrl~Wdat,1,wlysls. ~,l'Y'lcrш-...~f,on, Nd'YIQЬtor«LNdt-..-d Рис. 2. Главная страница zрафическоzо интерфейса Anaconda.Navigator