004.855.5 Нейросетевые методы решения задачи кредитного скоринга

Кадиев А. Д. (МГТУ им.Н.Э.Баумана), Чибисова А. В. (МГТУ им.Н.Э.Баумана)

НЕЙРОННЫЕ СЕТИ, МАШИННОЕ ОБУЧЕНИЕ, СЛУЧАЙНЫЙ ЛЕС, ЛОГИСТИЧЕСКАЯ РЕГРЕССИЯ, ГРАДИЕНТНЫЙ БУСТИНГ


doi: 10.18698/2309-3684-2022-4-8192


Продемонстрирован математический вывод представленной модели нейронной сети. Сведение задачи классификации к задаче оптимизации. Произведен разведывательный анализ данных, а также их предобработка для дальнейшего использования в обучении алгоритмов классификации. Были спроектированы архитектуры нейронных сетей, зависящих от функции активации, количества скрытых слоев нейронной сети и количества нейронов в скрытых слоях. Обучено более десяти нейронных сетей, решающих поставленную задачу кредитного скоринга. Произведен расчет времени обучения нейронных сетей. Представлено решение задачи при помощи классических алгоритмов машинного обучения. Можно было заметить, что стандартное отклонение accuracy и ROC AUC для нейронных сетей больше, чем у случайного леса. Это происходит из-за того, что мы выбираем начальные веса случайным образом и градиенты считаем не на всей выборке, а на малых частях, что добавляет некоторую погрешность при обучении. Но эти отклонения были не только в худшую сторону. В лучших ситуациях, по обеим метрикам, нейронные сети показывали результат хуже всего на пару процентов. Произведен анализ резульатов. Сравнительный анализ показывает, что нейронные сети имеют лучшее качество классификации, чем классические алгоритмы машинного обучения, а также, что нейронные сети имеют меньшее время обучения, чем классические алгоритмы машинного обучения. Представлены графики и таблицы, отображающие имеемые результаты.


Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. New York, Sptringer, 2009, 745 p.
Marsland S. Machine learning: an algorithmic perspective. Chapman and Hall/CRC, 2009, 406 p.
Хайкин С. Нейронные сети: полный курс, 2-е издание. Москва, Издательский дом «Вильямс», 2008, 1104 с.
Goodfellow I., Bengio Y., Courville A. Deep learning. The MIT Press, 2016, 800 p.
Coelho L.P., Richert W. Building machine learning systems with Python. Packt Publishing Ltd, 2013, 290 p.
Воронцов К.В. Машинное обучение: курс лекций [Электронный ресурс], 2016. URL: http://www.machinelearning.ru/ (дата обращения: 15.10.2022)
Bellman R. The Bellman continuum: a collection of the works of Richard E. Bellman. World Scientific Publishing Company, 1987, 892 p.
Bellman R. Adaptive control processes: a guided tour. Princeton University Press, 2015, 276 p.
Powell W.B. Approximate dynamic programming: solving the curses of dimensionality. Wiley, 2011, 656 p.
Marimont R.B. Shapiro M.B. Nearest neighbour searches and the curse of dimensionality. Journal of the Institute of Mathematics and Its Applications, 1979, vol. 24, iss. 1, pp. 59–70.
Radovanovic M., Nanopoulos A., Ivanovic M. Hubs in space: popular nearest neighbors in high-dimensional data. Journal of Machine Learning Research, 2010, vol. 11, pp. 2487–2531.
Spencer J. Ten lectures on the probabilistic method. Philadelphia, SIAM Publ., 1994, 83 p.
de Grey A.D.N.J. The chromatic number of the plane is at least 5. Cornell University, 2018. DOI: arXiv:1804.02385
Лекун Я. Как учится машина. Революция в области нейронных сетей и глубокого обучения. Москва, Интеллектуальная Литература, 2021, 335 с.
Werbos P.J. Backpropagation through time: what it does and how to do it. Proceedings of the IEEE, 1990, vol. 78, iss. 10, pp. 1550–1560.


Кадиев А.Д., Чибисова А.В. Нейросетевые методы решения задачи кредитного скоринга. Математическое моделирование и численные методы, 2022, № 4, с. 81–92.



Скачать статью

Количество скачиваний: 520