(Explainable AI) Individual Condition Expectation 개념 이해하기

ICE Plot

Individual Condition Expectation(이하 ICE) 그래프는 특성이 변화할 때 인스턴스의 예측치가 얼마나 변하는지를 나타내는 라인을 그립니다.

한 특성의 평균 효과에 대한 PDP(Partial Dependence Plot)는 특정 인스턴스에 포커스를 두지 않는, 전체 평균에 집중하는 글로벌한 방식입니다. 개별적인 데이터 인스턴스에 대한 PDP를 ICE라 부릅니다.^[각주:1] ICE 그래프는 각 인스턴스마다 하나의 특성에 대한 예측 의존도를 시각화(인스턴스당 하나의 라인)합니다. 따라서 PDP는 ICE 그래프 라인의 평균이라 할 수 있습니다.

하나의 라인(인스턴스 1개) 값은 다른 모든 특성을 동일하게 유지함으로써 계산됩니다. 관심있는 특성 값을 그리드값으로 대체하고 이렇게 새로 생성된 인스턴스를 블랙박스 모델에 통과시켜 예측치를 얻게 되면서 인스턴스의 변형을 만들어냅니다. 결과는 그리드의 특성값과 각 예측값을 가진 인스턴스 점 집합이 됩니다.

부분 의존도(=PDP) 대신 개별적인 기대치(ICE)를 살펴보는 이유는 무엇일까요? PDP는 상호작용에 의해 생성된 이질적 관계(=이종효과)를 잘 발견하지 못합니다. 한 특성과 예측치 간의 평균적인 관계가 어떤지를 알려주는 것 뿐이죠. 이는 PDP가 계산한 특성과 다른 특성 간의 상호작용이 약할 때만 잘 작동합니다. 상호작용 관점에선 ICE가 더 많은 인사이트를 제공합니다.

ICE 그래프의 공식적인 정의는 아래와 같습니다.

${(x_s^{(i)}, x_c^{(i)})}_{i=1}^N$의 각 인스턴스에 대해 곡선 $\hat{f}_s^{(i)}$가 $x_s^{(i)}$에 따라 그려지며, $x_c^{(i)}$는 고정

예제

경추암 분류 데이터셋을 활용하여 특성 "나이"에 대해 각 인스턴스의 예측치를 살펴봅시다. 주어진 위험요인(독립변수)에 의해 여성의 암 발생 가능성을 예측하는 랜덤포레스트 모델을 학습했습니다. PDP에선 50세 전후에 발병률이 높아졌으나, 데이터셋에 있는 모든 여성들이 이러진 않을 것입니다.

위의 그래프를 보면 높은 발병률이 나타나는 젊은 여성들은 나이에 따라 발병률이 크게 변화하지 않습니다.

아래는 자전거 렌탈 예측에 대한 ICE 그래프이며, 마찬가지로 랜덤포레스트 모델을 사용한 것입니다.

날씨 조건에 따른 자전거 렌탈 예측은 모든 곡선이 동일한 형태를 보이고 있습니다. 이는 특성 간 상호작용이 없다고 볼 수 있으며, PDP가 각 특성과 예측치 간의 관계를 잘 요약했음을 의미합니다.

중심(Centered) ICE Plot

ICE에는 문제점이 하나 있는데, 각 ICE 곡선이 다른 예측에서 시작하기 때문에 실제로 곡선 간 차이점이 있는지 구별하기 어려울 때가 있습니다. 간단한 해결 방법은 특정 지점을 중심으로 하여 곡선을 위치시키고 이 지점까지 예측치와의 차이만 표시하는 것입니다.

특성값의 아래 끝에 곡선을 고정시키는 것은 좋은 방법입니다. 새로운 곡선은 아래와 같이 정의됩니다.

$\hat{f}_{cent}^{(i)} = \hat{f}^{(i)} - 1\hat{f}(x^a, x_c^{(i)})$

$1$은 적당한 차원수의 1로 이루어진 벡터(보통 1차원 또는 2차원)
$\hat{f}$은 적합된(fitted) 모델
$x^a$는 고정 포인트

예제

아래는 경추암 분류 데이터셋에 적용한 중심 ICE 그래프입니다.

라인들은 나이 14세에 0으로 고정되었습니다. 14세와 비교했을 때, 대부분의 여성들에 대한 예측은 45세까지 변화가 없고 45세 부근에서 급증하는 모습을 보입니다.

중심 ICE plot은 개별 인스턴스 곡선 간의 비교를 더욱 용이하게 합니다. 예측값의 절대적 차이가 아니라 특성값 범위 내 고정점과 예측치 간의 차이를 알고 싶을 때 유용합니다.

아래는 자전거 렌탈 예측을 위한 중심 ICE 그래프입니다.

미분(Derivative) ICE Plot

각 특성의 이종효과(Heterogeneous effect)를 더 쉽게 나타내는 방법 중 하나는 특성값에 대한 예측 함수의 개별 미분함수를 살펴보는 것입니다. 함수(=곡선)의 미분은 변화 발생 여부 및 그 변화가 발생하는 방향을 알 수 있습니다. 미분 ICE를 사용하면 (최소한 일부의) 인스턴스에 대해 블랙박스 모델의 예측이 변화하는 특성값의 범위를 쉽게 찾을 수 있습니다.

만약 관심있는 특성 $x_s$와 다른 특성들 $x_c$ 간에 상호작용이 없다면 예측 함수는 아래와 같이 표현됩니다.

$\hat{f}(x) = \hat{f}(x_s, x_c) = g(x_s) + h(x_c),\ with$ $\delta \hat{f}(x) \over\delta x_s$ $= g'(x_s)$

상호작용이 없다면 개별 부분미분은 모든 경우에 같아야 합니다. 만약 다르다면 상호작용이 존재한다는 것이고 이는 d-ICE 그래프에 나타날 것입니다. S의 특성값과 관련하여 예측 함수의 미분에 대한 개별 곡선을 표시하는 것 외에도, 미분의 표준편차를 보여주는 것은 추정 미분에서 이질성을 가진 S의 특성값 영역을 강조하는 데 도움이 됩니다. 하지만 미분 ICE Plot은 계산이 오래 걸리고 실용적이지 않은 면이 있습니다.

장점

1. ICE는 PDP보다 훨씬 더 직관적으로 이해할 수 있습니다.

2. PDP와 달리 이종효과를 발견할 수 있습니다.

단점

1. ICE는 오직 하나의 특성만 의미있게 나타낼 수 있습니다. 그래프에 2개 이상의 특성을 그리면 겹치게 되어 잘 보이지 않기 때문입니다.

2. PDP와 똑같은 문제로, 관심있는 특성이 다른 특성과 관계가 있는 경우 라인의 일부 포인트가 결합 특성 분포에 따라 유효하지 않은 데이터 포인트가 될 수 있습니다.

3. ICE는 평균을 나타내는 것이 쉽지 않습니다. ICE와 PDP를 결합하여 간단히 해결할 수는 있습니다.

참조
https://christophm.github.io/interpretable-ml-book/ice.html

1. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation [본문으로]