[교재 복습] 협업 AI 개념과 의미, AI를 이용한 가입자 이탈 조기 발견 프로젝트

과정 교재 중에서 가장 인사이트를 많이 얻을 수 있었던 좋은 도서

이래서 박사학위는 공대다..라는 말이 있구나 싶음

 

1. 폴라니의 역설: 인간의 암묵적 지식은 AI 영역이 아니다.

• 암묵적 지식 - 인간의 영역 (경험, 생각, 능력, 행동)
• 명시적 지식 - AI 활용 영역 (데이터와 정보, 문서, 레코드, 파일)

우리가 실제로 일하는 과정에는 체계화하고 자동화하기 어려운 것이 많고, 암묵적이고 직관적인 지식이나 경험에 의존한다. 암묵적 지식은 언어와 시각 등의 형식으로 표현될 수 없는 경험과 학습에 의해 쌓인 지식이다. 체험을 통해 얻은 지식은 말이나 글로 표현하기 어렵다.

명시적 지식은 말이나 글로 표현할 수 있고, 특정 매체에 기록할 수 있는 것이다. 우리가 가진 지식이나 경험은 기록되기 어렵기 때문에 명시적 지식으로 그대로 발현시키기 어렵다.

 

2. 모라벡의 역설: 인간에게는 쉬운 일이 AI는 어렵다.

체스와 바둑은 전형적으로 AI가 잘할 수 있는 분야이다. 엄청 많은 케이스를 이미 학습해서 알고리즘화했기 때문이다. 반면, 승용차와 트럭, 고양이와 개 이미지를 아주 빨리 구분하는 인간과 달리 AI는 그렇지 못하다. 초창기 AI시절에는 인간 지능을 구현해낼 수 있을 것이라고 기대했지만 그 쉬운 고양이와 개 구분하기도 어려워했다. 너무 많은 부분을 학습시켜야 했기 때문이다.

컴퓨터는 높은 수준의 추론 능력을 요구하는 복잡한 작업에 비해 인간이 수행하기 쉬운 낮은 수준의 물리적 및 인지적 기술을 마스터하기 어렵다는 폴라니의 역설과 같은 맥락으로 얘기하고 있다.

 

인간과 AI의 조화, 협업 AI (Collaborative AI)

인간의 지능과 AI는 각각 장단점이 있다. 인간은 현실세계의 월드 지식 모델을 기반으로 인식, 분석, 추론, 본능 판단을 수행하는 데 능숙하다. (즉, 암묵적 지식을 갖추고 있다. AI는 절대 가질 수 없는 것이 암묵적 지식이다.) 반면 AI는 대규모 데이터에 숨겨진 패턴과 규칙을 효율적으로 발견하는 능력이 있다. 그래서 인간을 대신해 능력과 생산성을 높일 수 있는 방법이 많다.

협업 AI는 인간과 AI가 각자 가장 잘하는 역할을 수행하는 것을 의미한다. 인간의 지능과 AI의 강점을 결합하고 약점은 보완하며 협업하는 것이다. 실제로 AI 시스템과 인간의 상호보완적 강점을 합친다면 더 많은 업무를 수행할 수 있을 것이다. 인간과 AI는 경쟁적이거나 상호배타적이지 않다. 하나가 다른 것을 지배하거나 대체할 필요도 없다. 인간과 AI는 각자 잘하는 것에 집중하고 대부분의 중요한 의사결정은 여전히 인간이 리드하며 통제할 수 있다.

협업 AI를 이루려면 인간의 역할을 보완할 수 있는 AI 시스템 설계를 잘해야 한다. 인간 사용자는 AI 시스템과 이를 적절히 신뢰하고 사용하기 위한 한계를 이해해야 하며 AI 시스템 설계자는 시스템이 사용될 맥락을 제대로 이해해야 한다. 실제로 기업을 조사한 결과, 인간과 기계가 함께 작업할 때 가장 중요한 성능 향상이 이루어졌다. 협업 AI의 가치를 증명한 것이다. 협업 AI를 통해 인간과 AI는 인간의 리더십, 팀워크, 창의성, 사회적 기술, AI의 속도, 확장성, 양적 능력 등 상호보완적 강점을 적극적으로 향상시킬 수 있다.

성공적인 AI 기업들은 대부분 협업 AI 패러다임을 잘 이해했고, 인간과 AI는 각각 잘하는 것을 구분해 역할을 나눠 최고의 결과를 도출했다.

 

AI를 이용한 가입자 이탈 조기 발견 프로젝트

가입자 이탈 문제를 해결할 수 있는 방법으로 가입자 데이터베이스를 분석해 가입자 이탈을 유발하는 속성, 총 사용시간, 가입자 서비스 유형 등을 이해하고, 해지율을 낮추기 위해 어떤 전략을 제공할 것인지를 예측하는 모델 구축을 위해 AI 및 머신러닝을 효과적으로 사용할 수 있다.

기존 가입자 이탈 데이터를 사용해 예측 모델을 생성하면 이탈 가능성이 높은 가입자를 발견할 수 있다. 이때 특정 가입자에 대한 최종 예측 결과는 예와 아니오로 나타난다. 예측 결과를 바탕으로 회사는 다양한 가입자 유지 전략을 세워 적절한 조치를 취하고 해지를 줄일 수 있다.

통신사는 가입자 프로파일, 불만사항, 고객 행동 등에 관한 방대한 데이터를 보유하고 있다. 그리고 AI 및 머신러닝, 데이터 분석 기술을 이 데이터에 적용해 이탈 가능성이 높은 가입자를 가려내기 위해 노력하고 있다.

1) 필요한 데이터셋 준비

• 가입자에게 제공 중인 서비스 (이탈여부, 전화서비스 유무, 여러 회선 유무, 스트리밍 TV유무 등등)
• 가입자 계정 정보 (사용 개월수, 계약 기간, 종이청구서 유무, 지불방법, 청구금액 등등)
• 가입자 인구 통계 정보 (ID, 성별, 노인인지 아닌지, 파트너 유무, 부양가족 유무 등등)

2) 탐색적 데이터 분석 (EDA)

데이터 구조와 데이터셋에 대한 이해와 도메인 지식을 얻고, 속성에 대한 기초적인 이해를 구할 수 있다. 먼저, 수치형 데이터를 통해 이탈 여부와 각 독립변수 간의 관계를 파악했다.

• 연속 수치형 데이터 분석 (총 사용기간 / 월 사용료 vs 가입자 이탈 분포)