반응형 CSS(Credit Scoring System)8 [파이썬실습]신용평가 모형 검증(PSI 산출하기) 신용평가모형의 안정성 검증 지표의 하나인 PSI에 대한 자세한 설명은 2021.07.07 - [CSS(Credit Scoring System)/신용평가모형 검증지표] - [R실습]PSI 산출하기를 참고하세요. 본 포스팅에서는 파이썬을 활용해서 검증지표 산출만 실습해 보도록 하겠습니다. 1. 데이터 준비 실습을 위해 아래 자료를 다운로드 받으세요. 자료에 대한 설명은 상위 링크되어 있는 이전 포스팅을 참고하세요. 2. PSI 산출하기 import numpy as np import pandas as pd import math # 실습 데이터 파이썬으로 불러오기 psi_test = pd.read_csv("D:/python_exer/test_psi.csv") # 데이터 행 및 열의 개수 확인 psi_test ... 2021. 8. 26. [파이썬실습]신용평가 모형 검증(AUROC 산출하기) AUROC는 K-S통계량과 함께 신용평가 모형의 성능을 검증하는 주요 지표 중의 하나입니다. 자세한 설명은 2021.07.04 - [CSS(Credit Scoring System)/신용평가모형 검증지표] - [R실습]AUROC 산출하기에서 확인하시면 됩니다. 이번 포스팅에서는 파이썬을 활용해서 실습만 진행해 보겠습니다. 본 실습은 jupyter notebook을 사용했습니다. 1. 실습 데이터 준비 상위 링크된 포스팅에서 사용한 실습 데이터를 그대로 사용하겠습니다. 2. AUROC 산출 Step1) 테스트 데이터를 파이썬으로 불러오기 import numpy as np import pandas as pd import math # D드라이브의 python_exer 폴더에 있는 test.csv 파일 불러오기 .. 2021. 8. 25. [파이썬실습]신용평가 모형 검증(Information Value 산출하기) 이번 포스팅에서는 Information Value를 산출해 보겠습니다. Information Value에 대한 상세한 설명은 2021.07.04 - [CSS(Credit Scoring System)/신용평가모형 검증지표] - [R실습]Information Value 산출하기를 참고하시면 됩니다. 1. 실습 데이터 준비 우선, 아래 데이터를 다운로드합니다. 데이터에 대한 설명도 위의 링크를 참고하시면 됩니다. 2. Information Value 산출 Step 1) 테스트 데이터를 파이썬으로 불러오기 실습을 하려면 우선, 실습 데이터를 파이썬으로 불러와야 합니다. import numpy as np import pandas as pd import math # D드라이브의 python_exer 폴더에 있는 m.. 2021. 8. 24. [파이썬실습]신용평가 모형 검증(K-S 통계량 산출하기) K-S통계량은 신용평가 모형의 주요 성능 검증 지표 중의 하나입니다. 해당 통계량이 신용평가 모형에 대한 검증에 어떻게 활용되는지는 2021.07.03 - [CSS(Credit Scoring System)/신용평가모형 검증지표] - [R실습]K-S 통계량 산출하기를 참고하시면 됩니다. 이번 포스팅에서는 파이썬을 활용해서 실습만 진행해 보겠습니다. 본 실습은 jupyter notebook을 사용했습니다. 1. 실습 데이터 준비 상위에 링크되어 있는 데이터를 그대로 사용하겠습니다. test.csv에는 3개의 헤더 포함 33개의 row와 3개의 column이 있습니다. car_kind: 자동차 종류이지만, 여기서는 사람을 구별할 수 있는 id로 간주 prob: 우량 고객일 확률(값이 클수록 우량 고객일 확률이.. 2021. 8. 23. [R실습]PSI 산출하기 1. PSI 개념 신용평가모형의 안정성을 검증하는 지표는 모집단의 안정성을 검증하는 PSI(모집단안정성지수, Population Stability Index)와 평가항목의 안정성을 검증하는 CAR(항목안정성지수, Characteristic Analysis Report) 지표가 있다. 이번 포스팅에서는 PSI에 대해서 알아보자. PSI는 신용평가모형 개발 당시의 신용등급별 분포와 실제 운영할 때의 신용등급별 분포가 유사한지, 아니면 등급의 분포가 변화되었는지 검증하는 중요 지표다. 2. PSI 산출식 PSI는 아래의 수식으로 산출된다. PSI = sum((개발당시 등급별 분포 - 실제 운영 시 등급별 분포) * ln(개발당시 등급별 분포 / 실제 운영 시 등급별 분포)) 산식을 보면 알겠지만, PSI값이 .. 2021. 7. 7. [R실습]AUROC 산출하기 1. AUROC(Area Under ROC Curve) AUROC는 Area Under ROC(Receiver Operating Characteristic) Curve의 약어로, K-S통계량(자세한 설명은 K-S통계량 포스팅 참고)과 더불어 분류모델(Classificaiton Model)의 성능을 나타내는 주요 지표 중 하나입니다. AUROC는 어떤 이벤트가 발생할 확률에 따른 집단2의 누적구성비(X축)와 집단1의 누적구성비(Y축)가 그리는 그래프 아래쪽에 곡선형태의 면적을 의미하는데요(집단1: 이벤트 발생 집단, 집단2: 이벤트 미발생 집단). 말로 설명하니, 잘 와닿지 않는 것 같아요. 예를 들어 설명해 보도록 하겠습니다. 2. AUROC(Area Under ROC Curve) 산출하기 신용평가모형 .. 2021. 7. 4. [R실습]Information Value 산출하기 1. IV(Information Value) Information Value(이하 IV로 표현)은 정보이론에서 나온 개념으로 알고 있어요.정보이론에서 단일 항목으로 얼마나 많은 정보량을 포함하고 있는지를 수치적으로 나타냈다고 할 수 있는데요. 이런 개념을 신용평가모형에 그대로 접목시켜 보면, 항목 하나가 우량 고객군과 불량 고객군을 얼마나 잘 구분해 줄 수 있는지에 대한 정보량으로 설명할 수 있어요. IV 수치가 클수록 우량 고객군과 불량 고객군을 잘 구분할 수 있는 정보량이 많은 것이고,반대로 IV 수치가 작을수록 우량 고객군과 불량 고객군을 잘 구분할 수 있는 정보량이 적다는 거죠. 그럼 IV는 어떻게 산출되는지 살펴 보겠습니다. IV = 어떤 기준에 의해서 나누어진 구간별 (우량 고객군의 구성비 -.. 2021. 7. 4. [R실습]K-S 통계량 산출하기 1. K-S(Kolmogorov - Smirnov Statistics) 통계량 본래 K-S 통계량(Kolmogorov - Smirnov Statistics)은 서로 다른 두개의 집단이 동일한 분포를 이루고 있는지를 검증하는 검증지표로 통계학의 용어입니다. K-S통계량은 두 집단에 대한 각각의 구성비를 누적해서 산출한 후 그 누적 구성비의 차이가 가장 많이 벌어지는 지점의 수치로 계산됩니다. 이런 통계학의 용어가 신용평가모형에 대한 성능을 측정하는 지표로 어떻게 사용되었을까요? 신용평가모형은 과거의 신용거래 행위를 기반으로 빌린 돈을 미래에 잘 상환할 가능성을 예측하는 통계적 모형입니다. 우리가 흔히 말하는 신용등급, 신용점수는 이러한 통계적 모형에 의해 산출된 확률(=빌린 돈을 미래에 잘 상환할 가능성).. 2021. 7. 3. 이전 1 다음 반응형
