Cambridge Analytica라는 AdTech 스타트업이 있었다. 페이스북 유저들이 Like를 누른 정보들을 모은 다음, 각 유저별 성향을 뽑아내고, 그 성향에 맞춰서 타겟팅된 메세지를 보낼 수 있는 서비스였다. 수천만명의 유권자들에게 공통된 메세지가 아니라, 그 사람들의 스타일에 맞춰서 다른 메세지를 보낸다니, 이거 꿈 같은 미래형 서비스 아닌가?

근데 “있었다“라니? 왜 과거형일까?

트럼프 대통령의 2016년 선거 캠페인은 유저별로 다른 광고를 내보낼 수 있는 플랫폼을 찾는데 혈안이 되어있었다. 그들 눈에 들어온 Cambridge Analytica는 입맛에 딱 맞는 서비스였고, 트럼프 대통령의 선거 캠페인은 (자신이 Fake News라고 주장하는) 각종 언론사들의 비협조로 굉장히 힘들게 진행되고 있었던 탓에, 페이스북 유저 데이터를 가져오는게 불법인지 여부를 확인할 여유도 없이 그 서비스를 갖다 쓸 수 밖에 없었다. 선거가 끝나고 결국 데이터 불법 수집을 이유로 회사 관계자는 모조리 처벌을 받았고, 회사는 흔적도 없이 사라졌다. 페이스북은 개인 정보 보안에 소홀했다는 책임을 표명했고, 마크 주커버그는 상원의원들의 한심, 멍청, 답답한 질문을 몇 시간 동안 무덤덤한 표정으로 대답해주는 고역을 치르기도 했다.

(Source: CNBC.com)

2016년 미 대선 선거전이 한창이던 이 시점에 위와 같은 서비스가 완전히 충격적인 새 서비스였을까?

당시 한참 인기를 끌었던 미국 정치 드라마인 House of Cards에는 Data Scientist들을 활용해서 인터뷰에서 무슨 단어를 어떤 어조로 이야기해야 대중의 호응을 이끌어 낼 수 있는지를 실시간으로 분석할 수 있다는 걸 알려주는 장면도 등장하고, 어떤 소스였는지는 끝까지 비밀로 밝히면서 몇 백만명의 중립성향 유권자 전화번호를 뽑아와 선거 팀에 넘기는 장면도 나온다. 당시 워싱턴 DC쪽에 Data Scientist 자리에 지원하면 이런 Sentimental analysis는 해봤냐, Natural Language Process는 잘 아느냐, Network theory는 어떤 방식으로 적용해봤냐는 질문을 수도없이 들었을 것이다. 물론 그 회사들 상당수가 페이스북의 (어쩌면 고의적이었을지도 모르는) 보안 미비를 이용해 데이터를 긁어 모았다는 사실은 공공연한 비밀이었다.

 

Psychographic targeting의 역사

각 유저별로 성향을 파악해서, 그 유저에게 적합한 형태로 광고 메세지를 조절한다는 서비스는 2016년에 갑자기 등장한게 아니다.

가끔 별 대단치 않아보이는 질문 10개 남짓을 받고, 뭘 좋아하는지 대답해주고 나면 당신은 어떤 성향입니다는 평가를 해 주는 서비스를 봤던 적이 있을 것이다. 실제로 심리학에서 Big 5라고 부르는 인간의 성향 그룹이 있다.

심리학에서 정한 이런 기본적인 성향 이외에, Attitude, Interest, Opinion (AIO) 등등 다양한 종류의 성격 구분 방식이 있는데, 광고심리학을 하시는 분들이 썼던 사례가 있기는 하지만, 아무래도 정확도에 한계가 있고, 인간 성격을 저렇게 단순하게 구분할 수 있을까에 대한 의구심이 있었기 때문에 널리 활용되지는 못했다.

 

Demographic targeting과의 차이점

온라인 광고 시장에서 제일 먼저 나온 “타게팅” 광고는 인구통계학적인 정보를 이용하는 방식이었다.

성별, 연령, 결혼 유무, 거주 지역 등등의 정보는 위의 Big 5나 AIO처럼 뭔가 뜬구름 잡는다는 느낌도 없고, 눈에 확실하게 보였기 때문이다. 예를 들어, 우리 회사 상품은 30대 남성들이 주로 구매한다는 정보를 갖고, 30대 남성들이 자주 들어가는 커뮤니티에 집중 광고를 하는 방식이 보편화된 것이 바로 이런 이유 때문이다.

그런데, 사회경제문화적인 발전이 계속되면서 인간의 선호는 너무 복잡해졌다. 30대 남성이 자주 쓰는 제품을 40대나 50대 남성이 쓰지 말라는 법이 없고, 같은 연령대의 여성이 쓰지 말라는 법도 없다. 반대로 20대 여성들이 주로 쓰는 상품을 남성들도 많이 쓴다며 이른바 “유니섹스” 형태의 상품 구매 패턴을 볼 수 있다는 신문 기사가 나온지 이미 수십년이 지났다.

말을 바꾸면, 인구통계학적인 정보만을 바탕으로 한 광고 타게팅 너무 구식이라는 것이다.

 

Behavioral targeting과의 차이점

최근 들어 “인공지능”을 이용한 맞춤형 상품을 보여준다는 서비스가 우후죽순처럼 생겨나고 있다. 언론 플레이를 위해 “인공지능”이라는 단어를 썼지만, 사실은 Look-a-like 유저를 찾는 단순한 알고리즘이다. 상품 A-B-C-D를 보고 E를 구매한 유저 정보가 10명 정도 있었다면, 그 후부터는 A-B-C 상품을 보고 있던 유저에게 D-E 상품 그룹을 추천해주는 방식의 서비스인데, 이걸 해쉬 태그 방식의 검색어로 처리하면 Google 등이 쓰고 있는 검색 서비스가 되고, 쇼핑몰 상품 추천이나 광고 노출에 쓰면 “인공지능”의 탈을 쓴 Behavioral targeting이 된다.

이런 타게팅 방식의 가장 큰 문제는 특정 영역에서만 작동된다는 점이다. 쇼핑몰 “가”에서 어떤 유저가 A-B-C 상품을 보고 있다는 이유로 D-E 상품을 추천해줬는데, 쇼핑몰 “나”로 오면 “가”에서 쓰던 정보가 아무런 도움이 안 된다. 거기다 데이터를 공유하려고하면 쇼핑몰 “가”는 손해보는 장사를 해야된다. 설령 “가”와 “나”가 서로 유저 검색 데이터를 공유하기로 했다고해도, 단순히 상품을 본 기록 뿐만 아니라, 그 상품의 카테고리, 가격 등등 세부 정보를 모두 공유해야 진정한 데이터 공유가 된다.

쇼핑몰 “가”와 “나”가 그런 업무 협조를 맺는데 걸리는 시간을 생각해보자. 우리나라에만 온라인 쇼핑몰이 얼마나 많을까? 더 유저가 많은 쇼핑몰일 수록 손해를 보는데, 쉽게 협상이 될까?

쇼핑몰이 아닌 다른 서비스에서 쇼핑몰 검색 정보를 쓸 수 있는 방법은 없을까? 분명히 특정 상품 군을 많이 샀던 유저라면 자기네 서비스에도 관심이 있을거라는 짐작을 할 수 있을텐데, 이런 데이터 공유는 한계가 있을 수 밖에 없다.

차라리 미국의 Amazon처럼 1개 쇼핑몰이 시장을 사실상 반독점 형태로 운영하면서 모든 유저 검색 정보를 다 갖고 있다고 해도 쇼핑몰을 넘어선 다른 서비스에 적용하려면 같은 한계를 넘어야한다.

 

카드사에서 대량 구매한 데이터

국내외에 카드사에서 데이터를 대량으로 구매하고, 그 정보들을 이용해서 유저 프로파일링을 하겠다는 서비스를 꽤나 봤던 적이 있다. 만약 그들이 갖고 있는 정보가 “영수증” 급으로 상세한 정보라면 좀 말이 되겠지만, 많은 경우 전체 합계 금액 이상의 정보가 없다. 쇼핑몰들 입장에서도 상세 정보를 내부적으로는 갖고 있으면서 유저들의 행동 패턴을 볼 인센티브가 있을지는 몰라도, 카드사에게 상세 정보를 주는 건 불편할 것이다.

당장 마트에서 10개 상품을 구매한다음에 1개만 반품처리를 해 보시라. 아마 전체 환불을 한 다음에 다시 9개 상품에 대해서 재결제를 할 것이다.

더 나아가서 위의 데이터는 결제 여부만 알 수 있고, 정작 결제 전에 어떤 행동을 했을지에 대해서는 제한적인 정보 밖에 없다. 식당 A에서 점심 식사를 했는데, 그 전에 식당 B와 C를 들러서 빈 자리가 없었기 때문에 A에서 식사를 했다면 A는 선호되는 식당이 아님에도 불구하고, 카드사 기록만 놓고보면 그 고객은 식당 A를 좋아하는 사람이라고 인식하게 될 것이다.

요컨대, Flow를 볼 수 없는 데이터, Snapshot만 보는 데이터로 타게팅을 한다는 건 한계가 있을 수 밖에 없다.

 

Psychographic targeting이란?

다시 트럼프 대통령의 사례로 돌아와보자.

Cambridge Analytica는 유저 성향에 따라 완전히 다른 배너를 보여줬다.

정치적 성향은 중립이지만 애완동물을 좋아하는 사람에게는 상대 후보가 표정 찌부리며 애완동물을 피하는 모습을 보여줬고, 반대로 애완동물을 싫어하는 사람에게는 트럼프 대통령이 애완동물을 달가워하지 않는 사진이 들어간 광고 배너를 노출시켰다. 비슷한 맥락으로, 주제별로 세분화된 선호도에 따라 정부 예산을 더 들여서 커뮤니티 센터를 지어야한다는 뉴스 클립과 세율을 낮춰야한다는 상반된 메세지를 인구통계학적으로는 거의 같은, 하지만 지역 이슈에 대한 견해가 미세하게 다른 그룹에게 뿌린 기록도 찾아볼 수 있다.

아래의 좀 더 간단한 예시를 보자.

(Source: Wishpond blog)

위의 두 여성은 40대 초반, 중산층, 어린 자식이 2명이고 직장인 여성이라는 공통점을 갖고 있다. 아마 인구통계학적인 정보만을 활용했다면 둘에게 같은 광고가 나가게 될 것이다. 그러나 Psychographic targeting을 하고 있으면 첫번째 여성분께는 요리 재료 광고가 나가고, 두번째 여성분께는 배달음식 광고가 나가게 된다.

정치나 쇼핑에만 그런 서비스가 쓰이는게 아니다. Porsche 자동차 광고에 쓴 사례를 보면, 같은 고급 차량을 부잣집 아드님 스쿨버스라고 설명하는 광고도 있고, 하이킹 같은 야외 활동을 좋아하는 사람들에게 딱 맞는 차라는 광고도 있다. (아래 광고 시즌이 겨울이었다면 아마 스키 관련된 이미지와 결합되었을 것이다.)

 

Psychographic targeting을 위한 도전

당장 우리 Pabii의 서비스를 기획하면서 유사한 서비스를 한국 시장에서 찾아봤다.  없더라. 페이스북에서 Like값들을 이용해 약간 시도할 수 있는 정도다.

평소 웹서핑 중에 보는 모든 광고를 우리가 Porche 911처럼 초미세 타게팅해서 보여드리려는 서비스를 만들고 있는데, 그래서 스마트폰을 쓰는 모든 분들이 우리의 고객분이 되는 걸 목표로 하는데, 광고 타게팅에 협조해주신 부분에 대한 보상액이 크게 느껴지는 분들과 작게 느껴지는 분들에게 다른 메세지를 보내고 싶어도 뾰족한 방법이 없다. 기껏해야 직장인과 비직장인을 구분하기 위해 인구통계학적 정보를 쓰는게 전부인 상태더라.

사실 이 서비스를 처음 기획하면서 가장 직접적으로 직면했던 도전은 “돈”이 아니라 “데이터”였다. 위의 Cambridge Analytica 사례에서 봤듯이, 개인의 선호 같은 데이터를 동의없이 훔쳐(?)가면 엄연히 불법이고 처벌을 받게된다. 그렇다고 다른 데이터를 구매하려니 위에 쇼핑몰, 카드사 예시에서 언급했듯이 우리가 원하는 레벨의 데이터는 없다.

어차피 유저 특성을 뽑아내고나면 기초 데이터 (Raw data)는 더 이상 쓸모가 없어서 버리게 될텐데, 그럼 개인정보보호법을 위반하지 않는데, Pabii가 기대하는 수준의 데이터가 있어야 그런 데이터 가공이 유의미할 수 있다는 판단이 섰다.

그래서 우리는 합법적인 수준에서 데이터를 받아오는 앱을 직접 만들고 있다. 내부적으로 걱정하는 부분은 이 앱을 출시해도 사용자 숫자가 일정 수준이 되기 전까지는 유저 특성을 뽑아내는 고급 통계학 알고리즘이 작동하기 어렵겠다는 점, 그리고 광고주가 없어서 유저들에게 적절한 보상을 돌려드리기 어렵겠다는 점이다.

이런 문제를 해결하기 위해 다른 보상형 광고 앱들처럼 과다보상으로 유저 유입을 유도하는 방식을 택하는 대신, 우리 앱에서 받은 돈을 쓸 수 있는 생태계를 만드는 방식으로 문제를 극복하려고 한다. 그래서 무모하다는 욕을 먹어가며 우리가 직접 SNS를 만들고, 쇼핑몰을 만들고 있다. (그렇다고 Instagram과 Amazon을 만드는 건 아니다ㅋㅋ)

(Source: SciELO)

 

데이터 가공이란?

회사 이름 P.A.B.I.I는 Psychographic Analytics by Integrated Intelligence의 약자다. Psychographic analytics가 작동하기 위해서는 Integrated Intelligence가 뒷받침되어야하는데, 이게 바로 유저 데이터를 1명, 1명만 봐서는 아무런 의미가 없고, 수백만명의 데이터를 묶었을 때만 의미가 있다는 말이다. 모두의 힘이 모여야 되는 윈기옥 같은 서비스다.

페이스북에서 유저들의 Like를 그대로 긁어온 Cambridge Analytica와 가장 크게 다른 점은, 우리는 그런 Like 정보를 활용하지 않는다는 것이다. 우리는 그런 뻔한 눈에 보이는 데이터를 쓰는 쉬운 길을 택할 생각이 없다. 남들이 금방 카피해서 따라올 수 있다는 걸 알기 때문이다. 우리는 유저들의 평소 앱 활동 내역 정보들을 Factor analysis같은 고급 통계학을 이용해 가공해서 남들이 찾아낼 수 없는 유저 특성을 도출할 것이다. Factor를 도출하는 순간부터 기초 데이터를 더 이상 쓰지 않아도 되는 서비스를 만든다는게 바로 여기에 기반한다. 그렇게 통계 모델링에 자신 있는데 왜 유저 데이터에 목을 매냐고? Integrated Intelligence가 필요한 부분, 좀 더 정확하게는 Factor라는 가상 변수의 정확도는 데이터에서 볼 수 있는 패턴 다양성의 폭과 깊이에 크게 달려있기 때문이다.

DSP 방식의 보상형 광고 서비스를 만들면서, 어쩌면 우리는 의적 홍길동을 꿈꾸고 있지 않나는 생각도 해 봤다. 그동안 광고주의 이익을 위한 서비스를 제공하면서 온라인 광고 플랫폼의 모든 주체들이 이익을 보고 있었는데, 정작 데이터를 제공했던 유저들은 보상을 받질 못했다. 일부 보상형 광고들이 있었지만 체리피커들 때문에 광고 효율성이 악화되면서 핵심 서비스로 남을 수는 없었다. 우리는 더 이상 광고주들이 체리피커를 문제삼지 않아도 되는, 그렇지만 데이터 제공자인 유저들이 합리적인 보상을 받을 수 있는 시스템을 만들려고 한다.

광고주님들, 데이터는 유저가 만들어 드리거든요?

 

나가며 – Why Pabii is different

전직 야X 코리아 출신으로, 현재 어느 온라인 광고 스타트업 CTO로 계신 분이 했던 말이다.

“데이터 사이언스는 데이터라는 바다에서 금을 찾는 작업이다”

말을 그렇게 해 놓고는 타게팅 알고리즘에 대해서 설명해달라는 10가지 다른 종류 질문을 하니 땀을 뻘뻘 흘리며 “와X다 대학교에 계신 교수님께서 연구를 하시는데…”로 대답만 하는 걸 봤었다.

그 발표가 끝나고나니 옆에 앉은 친구 하나는 “와X다 대학교가 타게팅 알고리즘으로 좋은 학교야?”라고 묻더라. 자기도 미국에서 석사 유학까지 하며 연구라는게 어떻게 돌아가는지 맛보기라도 한 녀석이….

그런 답답한 지식 수준으로 타게팅 한다는 광고 스타트업 CTO를 하면서 회사 모델 설명회를 열고 있는 사람이나, 담당 교수의 논문 실적과 연구 수준과 깊이 대신 현재 재직 중인 학교의 명성을 묻고 있는 사람이나, 그런 시간 낭비하는 프리젠테이션에 참석하고 그런 깝깝한 질문하는 친구를 둔 나 자신이나, 누가 누구를 욕하랴~

그 와X다 대학에 계신다는 분의 논문도 읽어보고, 개인적으로 수소문한 정보를 모아봤는데, 그 분 역시도 기술적으로 데이터를 처리하려는 엔지니어고, 모델링에 기반한 데이터 전처리에 깊은 관심이 있는 분은 아니라는 사실을 알게 되었다. 그 광고 스타트업이 퍼포먼스 마케팅을 한다고 주장하는데 퍼포먼스에 해당하는 광고 효율성이 전혀 느껴지지 않는 근본적인 이유일 것이다.

우리 Pabii는 그들과 완전히 다른 데이터, 완전히 다른 사업 모델, 그리고 완전히 다른 Data Science 내공으로 승부하려 한다.

 


공지1: 여러 곳에서의 요청에 따라 7월, 8월에 데이터 사이언스 강의 및 데이터 사이언스 모델링 강의를 개설합니다. 잠정적으로 7월 말 ~ 8월말 주말을 이용할 예정입니다.

공지2: RTB 시스템 개발을 위해 대용량 트래픽 처리에 관심있는 개발자 분을 모십니다. 제 타게팅 알고리즘이 시스템 내부에서 실시간으로 계산처리될 수 있도록 Memory DB 커스터마이징을 많이해야하는 업무를 맡으실 겁니다. 현재 저희가 내부에서 확정한 기술 스펙은 HAproxy, NginX, Kafka, ELK 등이고, Memory DB쪽은 Amazon DynamoDB는 비용 문제로 고려대상이 아니고, Redis, MongoDB, Cassandra보다 Couchbase나 YugabyteDB 같은 한국에서 흔히 쓰이지 않았던 스펙으로 만들 예정입니다. Memory DB쪽 경력 있으신 분, 초당 1백만 이상의 트래픽을 감당할 수 있다고 도전하시려는 개발자분 우대합니다.

가까운 친구 하나가 아래의 스크린 샷을 보내왔다. 코멘트를 달란다. 어지간하면 친구에게 짧은 답장해주는 걸로 무시하려고 했는데, 저 글 쓰신 분이 “나름 업계의 네임드”란다. 정말 저런 수준으로 네임드가 될 수 있는 한국 시장의 세태가 너무도 개탄스러워 친구에게 보냈던 메세지를 그대로 블로그에 공개한다.

(주의: 아래는 매우 심한 폭언이 담겨 있습니다. 포스팅 당사자의 이름 및 Like를 누르신 분들의 이름을 지웠으니 독자분들의 양해 바랍니다.)

(Source: 가까운 친구가 스크랩 해 준 어느 페이스북 포스팅)

 

답장:

무식하게 Hidden Layer를 주먹구구식으로 집어넣는 것 밖에 모르는 수준이라면 딱 저렇게 보이겠지.

너 혹시 Taylor’s Expansion 기억나냐?

고차항으로 Non-linear function (Log 함수 같은거) 비슷하게 맞춰보려고 하던거, 우리 학부 1학년 때 배운거 있짆냐.

그거 Neural Network 모델에 Single Layer 놓고 Node 점점 추가하는 걸로 똑같이 돌아가는거 보여주면 저런 사람들 눈이 똥~ 그랗게 되더라.

Taylor’s Expansion은 미분과 수식이 눈에 보이니까 수학이나 알고리즘이라고 생각하는걸테고, Network 모델은 미분과 수식이 눈에 안 보이니까, TensorFlow 같은 패키지 안에 포함되어 있으니까, 학교에서 저걸 수식으로 풀어서 증명하는 과정을 안 겪어봤으니까 그냥 코딩이라고 생각하는 거겠지.

구글에서 Universality Theorem Neural Network로 검색해봐.

Taylor’s Expansion의 Network 버전을 구경할 수 있을거다.

딥러닝, 딥러닝 노래 부르는 인간들치고 블랙박스라고 우기지 않는 사람 없고, 정작 제대로 수식 써 가며 증명해본적 있는 사람 없을꺼야.

전에 말했듯이, 제대로 통계학 배우고 이쪽에 발 들였으면 Deep Neural Net이 Logit 여러개를 Decision Tree 비슷하게 결합하는데, 작동 방식이 Gradient Boosting과 Random Forest의 결합이라는걸 바로 이해하게 됨. 그런 사람들이 당연히 딥러닝 딥러닝 노래를 부를 이유가 없지. 기존 모델들의 장점만 다 모이는게 아니라, 단점도 다 같이 결합되는걸 이해하는 사람이 딥러닝 좋다고 저렇게 글을 쓴다?

저렇게 제대로 교육 받은 적도 없이 코딩으로 업계의 “네임드”가 된 사람들이 싸그리 퇴출되어야 우리나라가 2류에서 하다못해 1.5류라도 될 기회가 생기는거 아니겠냐 ㅋㅋ

늦은 시간에 메일 보내는 점 죄송스럽게 생각합니다. 블로그 글을 정독하다 지금까지 깨있게 되었습니다.

 

이번 프로젝트 주제를 머신 러닝 / 강화 학습을 주제로 프로젝트를 진행을 하며 책, 웹 검색 등으로 학습 해가며 밤새 공부하면서 구현을 하고 있습니다.

원래도 이 주제에 흥미가 있어 학부내에서 들을수 있는 모든 관련 과목인 데이터마이닝, 바이오데이터마이닝, 빅데이터SNS분석, 인공지능, 지능형시스템 이란 수업을 들었습니다.

유독 머신러닝 랩 부분 교수분의 수업인지능형시스템바이오데이터마이닝의 경우 공부를 하면서도 이게 머신러닝과 무슨 연관이 있는 내용이지? 하면서 공부를 하였습니다.

지능형시스템의 경우는 R을 사용해서 R의 여러가지 함수설명과 통계학적 지식을 알려주는 수업이었고

바이오데이터마이닝의 경우는 대표님께서 추천해주신 책인 ISLR로 선형회귀, SVM, Random Forest 등 통계학과 관련된 수업만 진행 했습니다.

 

그래서 수업을 들을때는 이게 연관이 있는 부분인가 하고 그냥 열심히 들었는데 대표님 블로그글들을 정독해 나가면서 수업이 그랬던 이유를 깨닫게 되었습니다.

솔직히 처음에는에서를 창조하는 마법과 같은 기술이라고 생각했지만에서 더 좋은를 찾아 나간다는 기술이란 것을 알게되었습니다.

여전히 이 길로 가고 싶고 컴퓨터쪽 지식은 좋은편이라 생각하지만 현재 지식에서 좀더 나에게 부족한 통계학을 공부하고 싶은 열망이 생겼습니다.

그래서 현재 파비에서 진행하시는 강의를 들으려고 했는데 더이상 진행하지 않으신다는걸 알게 되었습니다. 그래서 몇가지 질문 사항이 있습니다. 여유가 되신다면 답변해주시면 감사하겠습니다.

 

1. 집안사정상 석사과정까지 거치기가 힘들 것 같습니다. 정말 석사를 하면서 배워보고 싶지만 4학년 학부생으로써 석사 못지 않은 커리어를 쌓을 방법이 있을까요?

2. 혹시 강화학습을 공부하는데 더 도움이 될만한 책이나 강의가 있을까요? 현재 도서관에서 빌린 책은 있지만 그저 구현에 집중한 copy & paste 위주 책입니다

 

읽어주셔서 감사합니다. 여유가 될때 답변해 주신다면 정말로 감사합니다

 


안녕하세요 XXX님,

 

부족한 블로그를 새벽까지 읽어주셔서 감사합니다.

아래에 짧게 답변드립니다.

 

1. 한국에서 석사를 해 본적이 없어서, 특히 컨설팅 회사식으로 돌아간다는 공대의 석사 프로그램을 직접 경험해본적이 없어서 해외 석사 프로그램과 얼마나 퀄리티가 차이날지는 모르겠습니다만, 제 경험상 학부 수준과 석, 박 수준은 매우 많이 다릅니다. 저는 학부출신이 아무리 경력이 길게 쌓여도 데이터 사이언스 관련한 중요한 일을 시킬 생각이 없습니다.

 

2. 강화학습이라는 단어에 매몰되고 있는걸보면 아직까지 공부가 부족한 듯 보입니다. 핵심은 그 안에 쓸 Supervised learning 모델을 어떻게 만드는가에 달려있기 때문에, 결국은 석사 이상 레벨에서 Hamiltonian optimization을 공부해야 강화학습이라는게 결국은 stochastic optimization 계산을 iteration으로 하는데 n개 이상의 uncertainty를 포함시킨 것에 불과하다는 걸 이해하게 되실겁니다. 이건 Model-Free로 계산한다는 Q-learning도 크게 다르지 않습니다. 단지 N개 Uncertainty 를 Grid search 하는 시뮬레이션으로 처리하는 작업에 불과합니다. 블로그에서 계속 이야기하고 있는대로, 공학도들이 흔히 빠져있는 함정인 컴퓨터(or 계산기)가 알아서 계산해주겠지라는 마인드를 빨리 버리시킬 바랍니다. 일단 방정식을 정의해야 계산기도 작동하잖아요. (계속 함정 안에 머물러 있으면 제가 “공돌이”라고 폄하하는 사람들이 됩니다 ㅋㅋ)

 


원 글 내용을 일부 수정했습니다.

Computer Science 학계에서 (Computer Engineering 말고) 머신러닝이라는 계산 알고리즘에 관심을 가진 적이 대략 3번 정도 된다. 70년대 후반에 대기업 및 학교들이 대형 컴퓨터들을 비치해서 펀치 기계로 이런 저런 명령어를 입력하는 단순 알고리즘을 만들 때가 첫번째고, 90년대 중반에 메모리 가격 폭락으로 하드웨어 가성비가 좋아졌을 때가 두번째, 그리고 2008년 이래 이미지 인식 정확도가 눈에 띄게 좋아지고 난 다음에 세번째라고 보면 될 것 같다.

구글의 이미지 서칭 기능이 엄청난 정확도를 보여주면서 CS 학계에서 이미지 인식 알고리즘에 대한 또 한번의 “혁신(?)”이 생기는거 아닌가는 바람이 불 뻔 했지만, 얼마지나지 않아 그 정확도의 상당 부분은 이미지 데이터 베이스 정리로 나온 결과물이지, 정작 이미지 인식 알고리즘에서 혁신이 있어서는 아니라는 말이 돌면서 분위기가 많이 시들해졌던 걸 들었다.

요즘 일반에 쓰이고 있는 이미지 인식 알고리즘은 이미 2010년 이전에 나온, 데이터 처리라는 측면만 놓고 봤을 때는 PCA 구조에서 크게 벗어나지 않는 알고리즘이 쓰이는 것으로 알고 있다. 아래의 그림은 최근에 구글 이미지 인식을 이용한 장난질(?)의 결과물이다. 보시다시피 데이터 베이스가 잘 갖춰져있지 않은 경우에는 비교 이미지 인식률이 뚝 떨어진다. (상황이 이런데 중국에서는 마트에 가면 사람 얼굴을 인식해서 자동으로 결제도 되고, 교통 법규를 위반하면 벌금도 매기고… 라는 말을 하더라…)

(Source: Google.com)

 

인공지능 (X), 패턴인식 (O)

알파고가 이세돌을 제압했을 때부터 지금까지 줄곧 주장한대로, 인공지능이라고 불리는 컴퓨터 알고리즘은 Self-learning을 하는 구조가 아니라, 단순히 데이터 속의 패턴을 인식하는 여러가지 계산법 중 하나에 불과하다. 이런 인식이 시장에 널리 퍼지지 않은 탓에, 여전히 많은 사람들이 인공지능에 대한 막연한 기대가 있고, 밑도 끝도 없이 무조건 AI라는 듣기 매우 거북한 단어를 IT업계 곳곳에서 계속해서 들을 수 밖에 없다.

그런 믿음을 깨주는 재밌는 Joke를 하나 가져와봤다.

(9gag.com)

부모님: 니 친구들이 다 우물에 뛰어들면 너도 따라갈래?

아이: 아니요!

머신러닝 알고리즘: 예!

우습게 들릴지 모르겠지만, 이게 머신러닝 알고리즘의 현실이다. 우물에 뛰어들면 죽는다는 지식을 갖고있는 인간은 독립적인 선택을 하겠지만, 외부 입력 정보 없이 구조화된 입력 데이터에만 기반한 패턴 매칭 알고리즘인 머신러닝은 독립적인 선택이 아니라 데이터 의존적인 선택을 한다. 말을 바꾸면, 기존의 데이터에서 가장 자주 나타나는 패턴, 혹은 지정하는 패턴을 그대로 따라가도록 만드는, 지극히 통계학적인 계산 결과물에 불과하다. 가끔 이런말을 하면 무개념인 사람들이 “딥러닝은 다르다”는 망발을 하는데, 그거 그냥 Tree 방식으로 계산하는 머신러닝의 여러 계산법 중 하나다.

 

스타트업 사기꾼들

얼마전 모 대기업의 고위직 분께서 시간을 좀 내달라고 여러 채널로 부탁하시길래 계속 거절하기 죄송한 마음에 식사 자리에 나간 적이 있다. 자기네 회사가 어느 스타트업을 인수하려고 하는데, 이 회사가 기술력이 있는 회사인지 도무지 알 방법이 없다며 도움을 요청하시더라. 뭐하는 스타트업이길래 그렇게 큰 금액을 들여서 인수하시려고 하냐고 여쭤봤더니, 자연어를 처리해서 기존의 콜 센터를 없애버릴 수 있을만큼 실시간 대화가 가능하도록 만들어 준단다.

순간 아래의 사건이 생각났다.

(Sixthtone.com)

중국의 어느 스타트업이 자연어 처리 (속도)의 끝판왕이라고 할 수 있는 실시간 통역 or 동시통역을 할 수 있는 알고리즘을 만들었고, 그 정확도가 매우매우매우 높다는 홍보가 있었다. 요즘 다들 중국의 대국굴기에 놀라고, 중국에서 여러 놀랄만한 기사가 나오고 있기 때문에 관심이 많았던 것 같은데, 필자는 그 말을 듣는 내내 갸우뚱~ 했다. 일상 회화들을 데이터 베이스에서 불러와서 바로바로 처리하기도 버거울텐데, 전문 용어까지 세부 전공 분야를 바로바로 찾아내고 척척 바꿔줄 수 있다고?

예를 들어, Finance에서 Security라는 단어는 주식, 채권 같은 “증권”이다. 근데 비 관계자들은 이 단어를 “보안” or “안전”과 관계된 단어로 이해할 것이다. 이런 영어 단어가 하나 둘이 아닌데, 거기다 전문 용어는 데이터 베이스 만들려면 엄청난 번역 데이터를 새로 만들어넣고, 경우의 수가 훠얼씬 더 많아질텐데, 실시간 처리를 다 할 수 있다는게 충분히 놀랍지 않나? 당장 전문 용어 번역 데이터 베이스를 만들었다는 사실이 너무 쇼킹했었다. 기초 데이터를 만들기 위해서 초특급 전문가들을 번역에 투입시켜야할텐데, 전문가 1-2명 뽑아서 몇 시간 일 시키기도 비용이 만만치 않은데, 그 비용을 감당할 수 있다니ㄷㄷㄷㄷ

누군가 “머신러닝이 아니라 딥러닝으로 하면 데이터 없이도 다~ 됩니다”같은 망발을 했겠지. 이게 무슨 시뮬레이션 데이터 넣어서 해결할 수 있는 문제도 아니고….하~

아니나 다를까, 장막 뒤에 동시통역사 한 명을 불러놓고 시연을 했다는 기사가 났다. (위의 뉴스 스크랩 참조)

(AI 때문에 사람이 직장을 잃는 4차산업혁명말고, 사람 때문에 AI가 직장을 잃는 5차산업이라는 저 드립은 재밌어서 국내 유머사이트에서 퍼왔다. 출처가 기억나지 않아서 원 저작자분께 Credit을 드리지 못함을 미리 사과드린다.)

요즘 생각해보면, 소위 말하는 스타트업 사기꾼들이 인공지능에 대한 과장된 기대를 더 증폭시킨 것 같다. 사실 인공지능이 별 거 없는 패턴 매칭이라는 사실을 VC들이 제대로 인지하고 나면 투자를 안 할 것이고, 언론 입장에서는 독자를 끌어들일 수 없는 구조인데, 마침 검증 제대로 안 된 스타트업들이 이것저것 다 된다고 썰만 풀고 돈만 받고 먹튀하는 일이 자주 생기니까, 먹튀했다는 뒷 이야기를 언론이 제대로 전달해주지 않으면 일반인들은 인공지능이라는 단어만 기억할밖에.

스타트업하고 있는 필자 입장에서 말이 조심스럽지만, 그동안 만나봤던 VC들 숫자가 상당한데, 당장 우리회사의 비지니스 모델도 제대로 이해 못하는 VC들이 거의 대부분이었던 걸 생각해보면 더 화려한 결과물이 나온다는 주장은 제대로 이해 못한채 눈에 보이는 부분에만 혹해서 투자금을 밀어넣은 경우가 꽤나 될 것 같다.

-중국의 AI 차량 시연 영상: 자동감지 도어 (좌), 자동정지하는 자율주행차 (우)

 

AI마케팅, 거대한 사기의 끝

알파고를 7천억(?)에 구글에 팔았던 데미스 하사비스의 최근 인터뷰 하나를 봤다. 그 기사 아래의 댓글을 보면, “저 인간은 알파고 이후로 일을 안 하는거 같다. 2-3년 안에 다른 분야에 다 인공지능이 적용될 것처럼 말하더니 아직도 단순한 게임 몇 개에 겨우 적용하는 수준이잖아.”라는 식의 혹평이 달려있더라.

그 인터뷰에서 데미스 하사비스는 자기들이 했던 Neural Net 기반의 계산법으로 “강”인공지능을 만드는건 매우 어려워보인다고 솔직하게 시인을 하더라.

아마 당사자는 구글에 알파고 알고리즘을 팔 때부터 알고 있었을 것이고, 구글 CEO도 딥마인드를 인수하면서 그런 지식을 갖고 있었을 것이라고 생각한다. (아니 그렇게 믿고 싶다. 필자같은 초짜도 단번에 알았던 거니까)

굳이 따지자면, 아직도 게임 몇 개에 겨우 적용하는 수준이라고 답답하다는 혹평 댓글을 달았던 분은 속았던 것이다. 구글의 AI 마케팅이라는 거대한 사기에, 알파고라는 대형 퍼포먼스에 완벽하게 속아 넘어갔던 것이라고 봐야한다. (어느 스타트업 관계자 친구는 사람들이 AI가 조류독감이라고 하질 않는 것만해도 구글의 AI마케팅은 자기 할 일을 다 한 거란다ㅋㅋㅋ)

사실 구글만 AI마케팅을 했던 것도 아니고, 위에 언급한대로 수많은 스타트업과 VC들이 자신들의 이익을 위해 과장된 AI마케팅을 진행해왔다. 블록체인 마케팅이 끝물에 다다른 것처럼, AI마케팅도 슬슬 동력을 잃는 느낌이다.

 

나가며 – What’s Next

약 2년 남짓 동안 통계학 공부를 열심히 해야 머신러닝을 제대로 이해할 수 있다고 블로깅을 해 왔다. 전문 블로거가 아님에도 꽤나 긴 시간 이렇게 장문의 글을 써 올 수 있었던 에너지는 거대한 사기에 속아넘어가는 일반인들에 대한 안타까움(?), 교육자적인 열정(?), and/or 배운 사람의 노블리스 오블리주(?)였다기보다, 사업하면서 만나는 VC, 개발자, 꼰대를 비롯한 “통계학 모르는 사람들“의 속을 긁는 오해로 촉발된 활화산같은 분노였었다고 솔직하게 고백한다.

필자의 분노 섞인 블로깅과 관계없이, 그들이 말하는 AI가 더 이상 자신들이 기대했던 인공지능이 아니라는 걸 인지하시는 분들이 점점 늘어나고 있다. 최소한 기업들과의 외부 미팅에서 “통계학 모르는(데 끝까지 AI전문가인체 하는) 사람들“을 만나는 비중이 확확 줄어드는걸 느낀다.  (제발.. 누울 자리를 보고 발을 뻗으시면 안 될까요?ㅋㅋ) 물론 그들 대다수가 “해봤더니 안 된다며?” 라던가, “AWS에 있는 알고리즘 복사해서 붙여넣어봤는게 샘플 데이터에서만 작동하고 딴 데는 안 되던데요?” 같은 경험적 반증에 기반해있지 이론적인 이해와 논리적인 결론에 근거하고 있지 않다는 점이 좀 아쉽기는 하지만, 거대한 사기에 대한 필자의 주장에 공감해주시는 분들이 늘어나는 점은 반갑게 보고 싶다.

이게 “신기술“이 아니라, 인류가 오랫동안 알고 있었지만 쓸 곳이 별로 없었던 좀 복잡한 “계산방법” 중 하나라는 사실이 곧 대중들에도 널리 알려질 것이라고 본다. 오늘 신문지상에 나오는 인공지능이란 표현은, 수학과 통계학은 깊이있게 모르지만 어찌됐건 꿰어맞춰서 이 세상 모든 것을 다 자동화 시켜버리고 싶다는 공돌이들의 환상과 대용량 데이터를 처리할 수 있는 하드웨어적, 소프트웨어적인 지원이 맞아들어가는 몇몇 영역을 비지니스에 활용한 마케팅에 불과했다.

그동안 본 블로그를 통해 수학, 통계학 모르면서 전문가라고 우기는 집단을 “공돌이”라는 속어를 써서 비아냥거린 점에 좀 무거운 책임감이 느껴지지만, 다른 한편으로는 박사시절 만났던 스탠X드 공대 출신 지도교수부터 그 이후로 학회에서, 연구소에서, 직장에서, 비지니스 미팅에서 만났던 “공돌이”들 중에 수학, 통계학적으로 존경을 받을 수 있는 수준의 지식을 갖춘 상태로 “인공지능”이라는 단어를 읊는 사람을 여태 본 적이 없었다는 변명을 끝으로 이제 분노의 블로깅은 그만 정리할 생각이다.

앞으로는 회사 사업 모델과 관련된 AdTech, MarTech 비지니스 이야기에 초점을 맞춘 스타트업 블로그 본연의 모습으로 운영된다.

우리 회사 서비스 곧 출시될텐데, 많은 분들께서 써 주시면 좋겠다.

 


공지1: 2019년 3월 29일을 끝으로 데이터 사이언스 주제의 포스팅은 종료됩니다. 이 후에는 파비의 스타트업 운영 관계된 포스팅만 월 1회 작성됩니다.

공지2: 위와 같은날을 기준으로 댓글을 모두 삭제합니다. 추후에는 댓글 서비스를 제공하지 않습니다.

지난 2월 14일, JP Morgan의 CEO인 Jamie Dimon이 블록체인 기반의 코인 JPM Coin을 발행했다. 지난 2015년부터 줄곧

Bitcoin will not survive

Bitcoin is going nowhere

Bitcoin is a fraud

라는 말을 입에 달고 살았던 투자은행계의 초대형 거물이 코인을 발행했다는 이유를 들어 비트코인이 대박날 것이다, 암호화폐가 곧 세상을 점령한다는 종류의 이야기들이 또 엄청나게 쏟아져 나왔다.

심지어 지난 블록체인 비평 포스팅에 어느 분의 글을 인용하는 댓글이 달렸던데, 그 글에도 블록체인 기반의 화폐 시스템 or 거래 시스템이 기존의 금융-화폐-거래 시스템을 붕괴시킬 것이라는 내용이 담겨있더라. 그 댓글에 구질구질한 댓글을 하나 달았는데, 한 줄 요약하면 아래와 같다.

근데, 굳이, 왜, 블록체인으로?

(Source: GoodAudience)

 

Stable Coin 시대의 도래

블록체인 기반 시스템이 인류에게 제공해줄 수 있는 서비스는 크게 두 분야로 나뉜다.

  • 기존 정부 인증 화폐의 대체
  • 계약의 중간 매개체를 없애는 Smart Contract

여기서 Stable Coin은 정부 인증 화폐를 대체하려는 목적과 맞닿아 있다.

Bitcoin을 비롯한 암호 화폐들이 정말로 화폐라면, 가치 저장이라는 측면에서 가격의 안정성을 보장해줘야 한다. 예를 들어, 100만원을 들고 여행을 떠나는데 오늘 환전을 하면 1,000달러지만, 내일 환전을 하면 500달러 밖에 안 된다면, 지금 당장 100만원을 들고 있으려는 사람이 없을 것이다. 여행갈 계획이 전혀 없는 사람이라면 모르지만, 여러 화폐를 번갈아가면서 소비 지출에 써야하는 사람은 당장 급한 원화를 제외하고는 모두 달러로 환전할려고 할 것이다.

자본주의 경제 시스템을 대공황으로부터 구한 경제학자 John Maynard Keynes는 화폐 수요를 아래와 같이 구분했다

  • 거래적 동기 – 유동성 확보
  • 예비적 동기 – 가치 저장, 가치 측정, 저축
  • 투기적 동기 – 가치 변동에 대한 기대

이 3가지 동기 중 Bitcoin 광풍과 관련된 부분은 투기적 동기고, 저 위의 여행객의 사례는 예비적 동기라고 할 수 있다.

JPM Coin을 비롯한 최근의 Stable Coin들은 위의 예비적 동기에서 안정성을 보장해주기 위해 투기적 동기를 원천적으로 차단하는 형태로 코인을 발행하고 있다. 어떻게? 아예 가격이 달러와 1:1로 연동된다. (전문용어로 Pegging 되어 있다고 표현한다.)

쉽게 말해서, JPM Coin이 발행되었다는 이유로 코인 투기 열풍에 사람들이 더 끌려가야하는 구조적인 요인은 없다는 뜻이다.

Bitcoin, Ethereum을 위시한 기존의 코인 대부분이 정부 화폐와의 교환 비율을 시장이 정하는대로 맡겨뒀는데, 가격 널뛰기를 이용해서 “한탕해보려는 세력들”의 투기적 동기 때문에 가치 저장이라는 예비적 동기가 붕괴되었고 (악화가 양화를 구축했다), 결국 투기적 동기를 없애는 형태의 코인이 발행되었다고 생각하면 된다.

JPM Coin 이 외에도 시장에는 꽤나 많은 Stable Coin들이 있다. (TrustToken, MakerDAO, 각각 USD 20MM, USD 15MM을 2018년 6월, 9월에 모집) 심지어는 Stability를 유지시켜주기 위해서 코인 여러개들을 묶어 헷징을 시켜놓은 포트폴리오 형태의 상품도 나와있다. 국내에서 단순히 코인 찍어내는 몇몇 스타트업과 IT 회사들이 코인 몇 개 찍어서 돈 얼마 벌었다(???)고 주장하는 수준보다 훨씬 더 진일보한, 제대로 금융 시장을 인지하는 사람들이 이른바 “코인 기반 투자은행”을 만들고 있다고 생각하시면 된다.

그런 회사들이 투기적 동기를 포기하고 Stable Coin으로 플랫폼을 이동 중이다.

(Source: Crypviz)

 

Stable Coin이 직면한 문제

가치의 안정성을 보장하기 위해 달러와 1:1 교환 비율을 맞추겠다는 Stable Coin들의 프로파간다를 보면서 아래의 세 가지 질문이 떠 올랐다.

  • 굳이 Stable Coin을 사야하나?
  • 계속 커지면 중앙은행을 대체하려고 할텐데?
  • 세금 추적은?

굳이 Stable Coin을 사야하나? – Bitcoin처럼 대박 폭등도 안 날텐데?

그 동안 Bitcoin, Ethereum 같은 이른바 “대장주” 가상화폐들로 거래적 동기를 지원해 줄 수 있는 상점이 몇 개나 있었나? 한국보다 더 열린 자본주의 시장 구조를 갖춘 미국이나 일본에서도 상점 몇 개 정도만 저런 코인으로 대금을 받아줬고, 그 마저도 코인 투기 열풍이 가시면서 빠르게 사라져버렸다.

Stable Coin은 심지어 가격이 계속 증가하지도 않는다. 처음 Coin을 발행할 때 나중에 코인 생태계 잘 갖춰지면 몇 배로 돌려준다고 그랬겠지만, 그것도 결국에는 코인 발행회사가 돈을 벌어서 1:1 교환 비율을 맞춰줘야한다. (전문용어로 지급준비금을 확보해야한다.) 그 발행사가 돈을 못 벌면 1:1 교환 비율을 못 맞춰줄 것이고, 시장에 거래되는 코인은 100만 달러치인데, 정작 회사는 10만 달러의 현금만 갖고 있는 경우가 비일비재하게 생길 것이다. 그러다 Bank-run 같은 사건이 터지면 어쩔려고? 결국 부도가 나거나, 코인 발행사는 어마어마한 비용을 떠 안아야 한다.

물론 그 전에 가격이 안정되어 있어서 투기적 수요가 없는 코인을 신규 구매하려는 사람이 과연 몇 명이나 될까?

계속 커지면 중앙은행을 대체하려고 할텐데? – 중앙은행은 바보인가?

JPM Coin처럼 거대 은행이 계속해서 1:1 태환을 장기간 유지하고, 사람들이 달러대신 JPM Coin으로 갈아탈 수 있도록 어마어마한 초기투자비용을 지출한다고 생각해보자. 말 그대로 중앙은행이 되겠다는 뜻이다. 그럼 미국의 FRB는 가만히 있을까? 우리나라에 비슷한 코인이 대형화 되고 있으면 한국은행은 가만히 손가락만 빨고 있을까?

은행이라는 시스템이 체계적으로 갖춰지기 시작한 19세기 중엽부터 선진국들이 중앙은행을 설립하기 시작한 것은 단순히 정부가 규제하고 싶어서가 아니라, 특정 기관이 돈을 마구 찍어내서 생기는 인플레이션을 막고, 경제 시스템의 안정성을 유지하기 위해서 가장 효율적인 구조라는 것을 인지했기 때문이다. 그런 사회 안전망 체제를 사기업이 운영하겠다면 안전성은 오롯이 그 기업 대표의 손에 달려있게 된다. 이게 얼마나 위험한 구조인지 잘 알기 때문에, 중앙은행을 유지하기 애매모호한 도시 국가들도 은행 연합체가 공동으로 화폐를 관리한다. (ex. 홍콩)

세금추적은? – 정부는 바보인가?

정부가 절대로 손 놓고 방관하고만 있지 않을 것이라는 가장 강력한 근거를 들자면 바로 세금이다. 거위의 깃털을 뽑는 것처럼 야금야금 뜯어야한다고 15세기 영문학에 적혀있듯이, 정부는 오랫동안 민간으로부터 세금을 어떻게 걷어야하는지에 대한 고민을 해왔던 조직이다. 그런 조직이 세금 추척할 수 있는 방법을 잃는다면 가만히 있을까?

(Source: Crypviz)

 

Stable Coin 의 시작 = Smart Contract의 보편화? 암호화폐의 종말!

블록체인의 궁극적인 목표는 정부를 없애는 것이다. 누군가는 사회주의라고 표현하던데, 필자의 관점으로는 무정부주의라고 표현하는게 맞을 것 같다. 돈 찍어내는 권리도 중앙은행에서 뺏어오고, 세금도 안 내고, 거기다 정부 없이 상호간 신뢰를 구축할 수 있는 시스템으로 정부라는 중간 매개체를 대체하자는 관점이기 때문이다. (캘리포니아 사람들, 일반적인 IT관계자들의 사고방식이 딱 이런 것 같더라.)

말을 바꾸면, Smart Contract로 기존의 중간 매개체가 없는 시스템을 구축하겠다는게 결국 정부(and other authorities)를 없애겠다는 뜻이다.

그런데, 인간은 그렇게 선하지 않다. 사기꾼들은 세상 곳곳에 널려있고, 시스템의 헛점을 이용해 돈을 벌려고하는 Scalper들도 버젓이 활동을 하며 어떤 꼼수로 돈을 벌었는지 자랑질을 해댄다. 완벽한 시스템이란 없기 때문에 법이있고, 변호사라는 직업이 있고, 재판, 계약서 같은 것들이 존재하는 것이다. 거기다 Smart Contract라는거 구조가 조금만 복잡한 계약에 쓸려고해도 설계를 다시해야한다. 자동화는 언제나 단순화에서 시작하기 때문이다. 아마 복잡한 계약 구조 다 맞춰주는 Flexible Smart Contract 만들기 쉽지 않을 것이다. (과정 생략하고 결과값만 써 놓으면 되지 않냐는 자칭 블록체인 업체들 좀 있던데, Smart Contract가 뭘 대체해야하는지 좀 고민하고 사업해주시면 안 될까? 내 관점에 당신들은 블록체인으로 사업을 하는게 아니라, 블록체인으로 장부 정리만 하고 있을 뿐이다)

캘리포니아 사시는 분들께는 좀 미안한 말인데, 그 동네를 갈 때마다 “여기 사람들은 (거의) 다 뽕맞은 것 같다”는 생각이 들고, 개발자들 중 상당수가 세상 모르는 소리하면서 “코인 찍어내면 다들 쓸 것 같은데요?” 같은 철부지 티를 낸다. 서비스 만들어내고 그걸 사람들이 쓰도록 만들기 위해서 얼마나 많은 고민과 마케팅 비용이 들어가는지 모르는 소리 같아서 가끔 어안이 벙벙해진다. 인간이 문명 생활을 하고 지난 수천년간 쌓아올린 정치, 경제, 사회, 문화 시스템을 그렇게 얕보지 마라.

정리하면, Stable Coin이 나왔고, 그 쪽으로만 시장이 집중한다는 이야기는 Smart Contract가 보편화 되는 계기를 마련한 것이 아니라, Smart Contract라는게 적용되는 분야는 한정되어 있는데 정작 블록체인을 이용한 코인으로 투기해서 돈 벌이가 되는 시절이 끝났다는 것을 의미한다. 그리고, Stable Coin 그 자체도 코인 생태계 (Coin Economy)를 구축하기 위해 많은 초기 투자 비용을 지불해야하고, 기존의 화폐를 운영하고 있던 정부가 그 권리를 쉽게 내려놓으려고 하지 않을 것이다. JPM Coin 마저도 기껏해야 작은 커뮤니티에서 활용되는 화폐가 되거나, 아예 정부가 전자 화폐를 블록체인 형태로 찍어내는게 이 기술이 사회 시스템에 흡수되는 최대치일 것이라고 본다. (사실 정부가 찍어낸 돈이 제일 안정성이 높은 “코인” 아닌가?)

사실 블록체인이란 위조, 변조를 막기 위한 여러가지 암호화 기술 중 하나에 지나지 않는다. Public Key, Private Key는 다른 암호화 모듈에도 이미 오래전부터 있었다. 굳이 블록체인에서 차이점이 있다면 과거의 정보 위에 덧대어서 기록하는 아이디어, 즉 BGP를 풀어내기 위한 수많은 아이디어 중 가장 단순(무식)한 아이디어가 얹혀진 것에 불과하다. 근데, 중앙서버가 없기 때문에 (그들이 꿈꿨던대로) 자유도가 엄청 높아지는 것이 아니라, (되려) 서비스 제공자 입장에서 관리가 극악으로 힘들어진다. (관련 논의는 다른 포스팅 참조) 관리자에게 감시당한다는 감성적 불만, 큰 돈 아닌 관리 수수료 지출이라는 금전적 불만 해소하려다가, 정작 시스템 관리가 안 되는 문제들로 생겨나는 수많은 부작용(Side effect)들을 어떻게 해결할래?

전자 투표나 상품 운반 채널 같은데에 블록체인의 정보 보안 방식을 활용한다는 기사를 봤는데, 그거 이미 다른 암호화 기술로도 얼마든지 할 수 있는 작업이고, 굳이 관리가 극악으로 힘든 블록체인을 쓰지 않아도 얼마든지 효율적으로 처리할 수 있다.

그럼 왜 JP Morgan이 Stable Coin을 찍어냈냐고? 미국은 “주주” 자본주의 국가다. 조그만 스타트업이나 초대형 투자은행이나, CEO는 주주들의 (입맛을 맞춰주는) 꽃놀이패인 것 같다ㅠㅠ

 

굳이, 왜, 블록체인으로?

저런 코인 발행사들의 궁극적인 목표는 코인 생태계 (Coin Economy)를 구축하는 것이라고 본다. 근데, 모든 Economy는 “소비”만 해서 되는게 아니라 “생산”을 할 수 있어야한다. 지금까지 나온 코인들은 “생산” 대신 코인 구매하라고 한 다음에, “어느 상점에서 코인을 쓸 수 있다”는 쪽에 초점을 맞췄다. 얼마전부터는 코인을 벌 수 있는 서비스들에 대한 고민을 듣고 있는데, Stable Coin이어서 1:1 교환비율도 맞추고, 코인으로 급여도 받고, 상품도 살 수 있게되는 구조를 굳이 블록체인, 암호화폐로 해야하나? 그냥 중앙서버, 현금 기반으로 하면 안 되나? 정부가 찍어낸 돈이 제일 안정적인 코인이고 이미 코인 생태계가 다 갖춰진지 몇 십년, 몇 백년이 지난거 아닌가?

우리 Pabii가 이제 곧 출시하는 “Pabii Cash”는 위의 조건들을 다 갖췄는데 정작 블록체인과는 아무런 관계가 없다. 필요가 없다는 사실, 이렇게 만들려다가 돈과 시간만 더 들어간다는 사실, 앞으로 관리가 더더욱 힘들어진다는 사실을 인지했기 때문이다.

Pabii Cash에서 5,000원으로 커피 한잔 마시는데 쓸 수 있고, 온라인 쇼핑몰에서 2만원짜리 아이템을 구매하는데 Pabii Cash 5,000원, 현금 15,000원 결합으로 결제를 할 수 있도록 해 준다. (물론 이런 Full service를 다 갖추는데 시간은 좀 걸릴 것이다.)

코인도 안 찍어내고 그런 돈은 어디서 구하고, 사람들은 어디서 돈 5,000원을 만들어 내냐고? 우리는 당신들의 스마트폰 활용 내역 (앱 설치, 앱 오픈 같은 기본 데이터, 배터리 관리 앱이 쓰는 데이터들)을 가공해서 각 유저별 특성을 찾아낸다. (여기에 Factor Analysis, Instrumental Variable, Homogeneity Index 같은 고급 통계 모델링이 활용된다.) 그 특성에 맞춰서 광고 미세 타게팅을 해주는 DSP를 만들고, 거기서 나는 수익금 일부를 유저에게 돌려드리는 서비스다. (공식 명칭은 Psychographic Ad Targeting이다.)

참고로, 페XX북에서 여러분들이 Like 누른 값들을 이용해서 미세 타게팅하는 광고 서비스가 이미 오래전부터 출시되어 있다. 우리 Pabii의 서비스는 페이스북처럼 뻔히 보이는 Like들을 이용하는 정보 착취가 아니고, 기본 데이터를 고급 통계학으로 가공할 수 있는 높은 기술력으로 광고주들에게 광고 효율화를 위한 합리적인 정보를 제공하고, 데이터를 제공한 유저들에게도 합리적인 보상을 제공해주자는 취지라고 보시면 된다. 그 사이 개인정보가 노출되지 않도록 복잡한 데이터 가공 프로세스를 거친다.

내 데이터를 갖다 쓰면서 자기들 배만 불리는 서비스들의 행태에 일침을 가하고, 데이터를 제공한 분들께 보상이 돌아가는 구조, 그 보상이 일상의 소비 생활과 연계된 구조, 이른바 핀(Fin)테크 서비스를 제공하는 빈(貧)테크 앱이다.

Pabii Cash 앱만 설치해놓고 평소처럼 스마트폰을 쓰고 있으면, 광고주의 요구 사항에 맞춰 타게팅 광고가 나가고, 유저는 어떤 광고가 Pabii 시스템을 통한 광고였는지도 모른채, 여느 보상형 광고들처럼 무슨 행동을 특별히 해야하는 것도 아닌데, 슬금슬금 자신의 가상계좌에 돈이 쌓이는 구조다. 광고 효율성이 높은 유저일수록 보상액이 커질테니, 이전처럼 광고라고 무조건 기피하는 행태도 막을 수 있다.

정리하면, 블록체인으로 코인 생태계 조성 중이신 분들이 열심히 노력하는 1:1 교환비율, 생산, 소비가 모두 다 돌아가는 시스템을 구축하고 있는데, 우리 회사에서는 아무도 블록체인에 관심이 없다. 필요가 없기 때문이다.

4월에 베타버젼 Pabii Cash 앱을 공개하면서 최초 가입자 N명에게는 보너스 Pabii Cash를 얼마쯤 드릴 생각이다. 베타버젼을 달리 다른 곳에 홍보할 생각도 없고, Pabii 블로그 성실 방문자 분들께 드리는 혜택이라고 생각해주시면 되겠다. (스타트업이라 마케팅 예산이 별로 없어서 많이 드리진 못하니 양해해주시면 좋겠다 ^^)

코인 찍어내지 않고도 얼마든지 이런 서비스를 만들 수 있는데, 굳이, 왜, 블록체인으로?

 


공지1: 2019년 3월 29일을 끝으로 데이터 사이언스 주제의 포스팅은 종료됩니다. 이 후에는 파비의 스타트업 운영 관계된 포스팅만 월 1회 작성됩니다.

공지2: 위와 같은날을 기준으로 댓글을 모두 삭제합니다. 추후에는 댓글 서비스를 제공하지 않습니다.

 

블록체인 시리즈

개발자 채용 중 특정 학원 출신인 분을 여럿 뵈었던 적이 있다. 신입 개발자 지원하는데 포트폴리오가 너무 좋아서 신입치고 높은 희망연봉을 제시해도 면접을 진행했었는데, 그 학원 출신 분들 몇몇을 뵙게 되면서 포트폴리오의 화려함만큼 기초 실력이 탄탄한 분들이 아니라는 사실을 인지하게 되었다. 오랜고민 끝에 결국 채용하게 된 개발자 분은 포트폴리오가 화려하지도 않고, 경력이 긴 분도 아닌, 학부 시절 관련 전공으로 열심히 공부했던 분이었다. 학부 전공을 열심히 듣고 혼자 잘 훈련만 했으면 충분한 면접 질문들이었는데, 왜 포트폴리오가 화려한 그 학원 분들은 제대로 대답을 못하셨을까?

그 지원자들과 비슷하게, 문과인데도 N모사 개발자 프로그램을 거쳐 매우 뛰어난 개발자로 살고 있는 자랑스런 친구가 하나 있다. 귀국 후 처음 그 친구 소식을 들었을때만해도 그냥 재밌게 사는 친구라고만 생각했는데, 이번 채용 프로세스를 거치면서 비전공자에 외부 학원을 거쳐서 뛰어난 개발자가 되는 사례가 참 드물다는 사실을 새롭게 인지하게 됐다. 원래도 재밌으면서도 대단한 친구라고 생각했는데, 새삼 그 친구가 더 대단해 보인다 ^^

요즘 이곳저곳에서 데이터 사이언티스트 채용에 관련된 질문을 받는데, 원래부터도 대학원 출신, 통계학을 제대로 배운 전공자를 뽑으라고 그랬지만, 위의 개발자 면접 프로세스를 거치면서 그런 경향이 더 심해진 것 같다. 좋은 학원과 훌륭한 선생님이 세상에 참 많다는 사실을 충분히 알고 있지만, 아주 예외적인 경우가 아니라면, 전공자들이 학부, 대학원동안 머리를 쥐어짜며 쌓아올린 내공을 아무리 좋은 학원이라도 단번에 주입시켜주기란 매우 어렵지 않을까? (그리고 그 개발자로 커리어 전환하고 잘나가는 친구가 그동안 얼마나 많은 노력을 쏟아부었을지 상상해보면…)

(Source: Iron Triangle)

 

어느 교수님의 응원 메일

회사 운영 중에 짬을 내서 관리하는 블로그라 여러가지로 부족한 점도 많고, 때때로 여러 공격에 좌절하는 일이 많지만, 그래도 가끔씩 진심이 담긴 응원 메일을 받고나면 힘이 부쩍 솟는다. 모든 응원 메일을 다 공유해보고 싶지만, 이 글을 쓰는 시점에 받은 어느 공학과 교수님의 응원 메일 일부를 공유할까 한다.

(중략)… 블로그 내용을 보니 한 20여년 전이나 지금이나 별반 다르지 않은 것 같아서 세월의 차이가 느껴지지 않습니다…

(중략)… 여기 고객사로 있는 기업에서 예전에 있었던 일이 생각나더군요. 한참 데이터웨어하우스 붐이 불어 개발하던 와중에 XX가격 의사결정모형 자문을 해 주었는데, 학부출신 한 명이 어디서 배웠는지 모르나 신경망으로 데이터 피팅하니 적합도가 90%가 넘으니 이걸 사용해야 하는 것 아니냐고 집요하게 우겨서 그냥 웃어 넘겼습니다. 피팅이 잘 된다고 예측이 잘 되는 것도 아니고, 설명 이론이나 모형도 없으니 가격의사결정에도 쓰기도 마땅하지 않고. 그래서 함부로 신경망 같은 것을 가르치는게 아니구나 하는….

당시에 잠시 과학원에서 계량마케팅을 박사과정을 대상으로 강의한 적이 있는데, 다들 배경지식이 없어 힘들어하고, 수학이니 경제학이니 통계학이니 하는건 어려우니 소비자 행동쪽만 학생들이 선호하고… (중략)

예전의 신경망 일도 있어 제가 강의하는 통계학 관련 과목에서는 차이점이나 설명하고 자세히 언급하지 않았는데, 새로 강의를 개설하려다 보니 하지 않을 수 없겠더군요. (중략) 잘못 가르치면 남용하거나 copy & paste나 하게 만들지 않을까하는 우려가 생깁니다. (중략)

위의 메일 내용에서 뽑아내고 싶은 포인트는 크게 3가지다

  • 박사과정 생들에게도 수학, 통계학 기반의 모델링 강의는 쉽지 않다
  • 20여년 전이나 지금이나 크게 다르지 않은 상황이다
  • 신경망 모델에 대한 맹신을 막기 위해 학교 교육이 변화하고 있다

첫번째 포인트는 Pabii의 데이터 사이언스 강의에서도 여러번 느끼는 일이 많다. 수강생 중에 석박사 출신도 많고, 교수 or 연구원으로 재직 중이신 분들도 가끔 뵐 수 있다. 그런 분들도 “머신러닝 이거 다 통계학이었네요”, “전생(?)의 기억을 되살리느라 따라가기 힘들었다”라고 말을 하시면서 기억을 되살리려 고민하는 분도 있고, “수식을 이런 방식으로 직관적으로하는 해석은 처음 들어본다”고 놀라고 가시는 분들도 있었다. 필자도 그랬었지만, 대부분의 박사과정 공부 중에는 수식에 파뭍혀 그 수식의 함의를 꼼꼼하게 짚고 넘어가기가 참 힘들기 때문이다. 그래서 더더욱 데이터 모델링을 할 수 있는 레벨의 지적 훈련을 받은 사람을 찾기가 참 힘든 것 같다.

두번째 포인트에서 공부가 어려운 건 20년전이나, (200년전이나, 2000년전이나…) 지금이나 다 똑같겠지만, 저 교수님께서 말씀하시는 상황은 깊이 있게 공부한 사람들이 이끌어가도 시원찮을 분야를 학부출신 한 명이 집요하게 우기기를 시전하고 있는 상황이 안타깝다는 말씀이실 것이다. 필자가 귀국하고 처음 만났던 자칭 데이터 사이언티스트 분들을 생각하면 상황이 조금 더 나아지기는 했지만, 여전히 매우 많은 사람들이 적당히 신경망 코드 구해서 돌리면 이미지 인식도 하고, 자연어 처리도 되는데 무슨 모델링 같은 소리하냐고 필자와 맞서려고 하는 일이 비일비재하다. (이 블로그에서도 많이들 보셨을 것이다.)

그런 “맞서려는 분들”에 대한 분노가 어이없음으로 바뀌며 좌절감에 조금씩 지쳐가던 중이었는데, 세번째 포인트에서 새로운 희망을 찾고 있는 중이다. 몇몇 세부 전공 분야를 제외하면 그동안은 학교에서 신경망을 굳이 꼼꼼하게 가르쳐야할 필요성을 못 느꼈을 것이다. 이게 수학적으로는 “꼼수”에 불과한 계산 작업이기 때문이고, 특정 분야를 제외하면 Computationally inefficient + Overfitting이라는 양쪽 폭탄을 다 맞는 계산법이기 때문이다. 통계학 박사들 중 상당수는 이런식의 꼼수 계산을 받아들이는 상황을 지적인 자아의 붕괴로 받아들이는 경우도 있을 정도다. 그럼에도 불구하고 워낙 많은 사람들의 입에 오르내리니 이제 제대로 통계학 교육을 받으신 분들이 학교 수업에 신경망 계산이 뭐라는 걸 구체적으로 설명하는 섹션을 포함시키시려는 것 같다. 뭔가 속이 뻥~ 뚫리는 기분이다.

그 동안 Pabii에서 데이터 사이언스 강의를 했던 가장 큰 이유가 “신경망에 대한 맹신”, “머신러닝/딥러닝에 대한 잘못된 이해”에 대한 반박이었는데, 학교에서 이렇게 나서서 시장을 정화시켜주신다면 굳이 Pabii에서 길게 강의를 해야할 이유가 있을까?


신 교수님, 응원 메일에 다시한번 고개숙여 감사드립니다. 교수님 제자분들이 한국의 데이터 사이언스 인력 풀 수준을 한 단계 더 높일 수 있게 되기를 간절히 바랍니다.

(Source: 동아일보)

 

데이터 사이언스 학원들

Pabii의 데이터 사이언스 강의에 “스파이”가 몇번 왔다간 적이 있다. 특히 지난 여름의 수학 & 통계학 마지막 오프라인 강의에 강남 일대의 “데이터 사이언스 학원” 관계자임을 확신할 수 밖에 없는 분들이 다녀가셨다. 심지어는 필자가 간단하게 요약한 그 수학 & 통계학 강의 (Quantitative 석사 과정 이상의 공부를 했다면 누구나 충분히 알만한 그런 내용의 강의)를 한국에서 제일 잘 아는 교수님이 누구냐는 질문을 하셨는데, “어느 학교 학생이에요? 그 학교에 괜찮은 교수님 강의 추천해드릴께요”라고 하니 빛의 속도로 사라지시던 그 분들… 한국에서 제일 잘 아는 교수님 이름을 가르쳐주면 강사로 영입하려고 그랬을 듯ㅋㅋ

그 “스파이”분들이 기획하신 강의 페이지를 가 보면, 국내에 있는 다른 강의들을 벤치마킹했다고, 자기네 수업의 수학 & 통계학만 이해하면 된다고 열심히 썰을 풀어놨다. 강의 기획안을 봐도, 실제로 그 수업을 들었던 분들의 뒷 이야기를 들어봐도 강의 기획자 분들이 아직도 데이터 사이언스가 수학과 통계학으로 이루어져 있다는 사실을 잘 인지하지 못한 것 같다. 애시당초 데이터 사이언스가 말 그대로 수학&통계학을 쓰는 “Science”라는 사실을 이해못한채, 기초 통계학만 가르친 다음 “Engineering”스러운 부분을 적당히 섞으면 데이터 사이언스라고 착각하시는듯.

그런 커리큘럼 설명 끝에 3달, 6달의 교육 과정을 거치면 데이터 사이언티스트 “1년차”가 된다는 표현이 있던데, 이 부분만큼은 꼭 짚고 넘어가보고 싶다.

1. 3달, 6달의 교육과정

어느 노 교수님 한 분이 Pabii의 데이터 사이언스 수업 3수강 (재수강도 아니고!)을 하고가시면서 남기신 말씀이, “다들 깡통은 아니니까, 모자라는 부분만 채워넣으면 되지 않을까?”였다. 수학&통계학 모델링을 잘 하는 사람은 코딩 쪽 훈련을 더 받고, 코딩 훈련이 잘 된 분은 수학&통계학 모델링을 더 공부하면 된다는 관점이었을 것이다.

우선 업무 중 느끼는 것들을 정리해보면, 수학&통계학 모델링을 잘 하는 사람이 데이터 사이언스 관련 업무를 위해 써야하는 코딩의 수준은 굳이 코드를 잘 짜는 10년차 개발자 수준이어야할 필요가 없어보인다. 어차피 수학적으로 더 elegant하게 모델을 만들면 코딩은 몇 줄로 끝나버릴 수도 있으니까. 백엔드 개발자들에게 던져줘야하는 결과물 몇 개 때문에 서버/DB관련된 지식을 배워야하는 부분도 크지 않다고 생각한다.

반면, 수학&통계학 훈련이 안 된 분들이 새로 이 지식을 배우는건 거의 불가능에 가까운 것 같다. 사실 고교 시절에 수학 못하던 친구가 재수, 삼수를 해서 수학 실력이 일취월장하는 경우도 거의 없지 않은가? 하물며 과학원의 박사과정생들에게도 힘든 수학, 통계학 기반의 모델링을 수학 손 놓은지 몇 년이 지났고, 원래부터 수학에 큰 관심이 없었던 수알못인 분들이 따라가기는 쉽지 않을 것이다.

실제로 200명 남짓의 학생들을 대상으로 한 강의에서도 같은 결론을 내리고 있다. 아무리 수식 제외하고 직관 위주로 강의해도 원래부터 수알못이었던 분들은 탈락할 수 밖에 없더라.

2. Data Scientist N년차

“N년차”, IT쪽으로 사업을 하겠다고 개발자 커뮤니티와 접하면서 처음 들어보기 시작한 표현이다. “안드로이드 개발 5년차”, “웹 프론트 개발 8년차” (더불어 “풀스택 개발자/디자이너”라는 표현도 이 동네에 와서 처음 들었다.)

하나만 물어보자. 수학&통계학 공부가 전혀 안 된 분이 데이터 사이언스 관련 업무를 10년정도하고나면 수학&통계학을 자연스럽게 이해하고 쓸 수 있게 될까? 자기가 매일 보던 숫자에서 “감”을 잡는 Domain knowledge 부분은 시간과 내공이 어느정도 정비례 관계를 갖게 될 것이라고 충분히 공감하겠지만, 그런 “Data Analyst” 업무는 수학적인 머리를 써야하는 부분이나 경험이 쌓여야하는 부분보다, 비지니스 센스와 더 깊은 관련이 있다.

개발자로 년차가 올라가면서 웹, 앱, 서버, DB 등등 다양한 플랫폼을 연계시킬 수 있는 경험이 쌓이고, 또 웹, 앱 각각에서도 높은 Tech를 타는 엄청난 레벨의 개발자가 될 수 있다는 사실은 인력 채용을 겪으며 매일같이 보고, 배우고, 느끼고 있다. 더불어, 굳이 전공자가 아니어도 충분히 본인의 노력으로 극복할 수 있는 부분이 있다는 것도 인지하고 있다. (우리 회사 채용은 전공자에게 가산점을 줄 수 밖에 없는 구조로 진행되었지만)

하지만, 수학&통계학 기반의 모델링을 알고 모르고는 완전히 다른 종류의 인력, 다른 직군에 대한 이야기가 된다.

그 학원들이 쓰는 표현, 타겟하고 있는 직군을 좀 더 정확하게 바꾸자면 “Data Analyst N년차”가 맞지 않을까?

3. Data Analyst N년차

그 학원 수강생들이 어떤 커리어를 밟고 있으신지 잘 알지는 못하지만, 보고 들은 강의 커리큘럼만 봤을 때는 Business Analyst(BA), Business Intelligence(BI) 같은 직군에 지원하실 수 있는 훈련을 받았다고 판단된다. 2000년대 중후반에 학부 졸업무렵 필자가 봤던 인력 시장에서 그런 자리들에 갔던 친구들은 수학, 통계학 같은 자연계열 학부 전공을 한, 좀 유명한 학교 출신인 친구들이었다.

요즘 DSP 회사들에 가보면 비슷한 일들을 Account Strategy (속칭 AS, 광고주의 광고 전략에 맞춘 관리해주는 세일즈 인력) 분들이 하고 계신다. 아마 우리 Pabii도 광고주 영업을 뛰어야하는 시점이 오면 AS분들을 뽑을 때 예전에 BA, BI 직군이 타겟했던 분들을 뽑을 것 같은데, 학부 출신 신입이면 한 달동안 Tableau와 우리회사 내부 솔루션 가르쳐서 쓰는게 더 낫지, 굳이 저 위에서 말이 나온 “Data Scientist 1년차” 만들어 준다는 학원 출신이신 분들을 뽑고 싶지는 않다. 그런 학원의 수학&통계학 교육 수준이 높기 어렵다는 사실을 알기 때문이고, 그 정도 수학&통계학 훈련만 받은 분께는 아무리 경력이 쌓여도 Data Scientist라는 직함을 줄 생각이 없기 때문이다. 학생 선발 과정에서 이미 우리나라 최상위권의 수학&통계학 훈련을 받은 인재들만 받았을 과학원에서 박사과정생을 대상으로 가르쳐도 힘들었던 지식을 그 학원에서, 아니 어지간한 일반 IT학원에서 비슷한 수준으로 가르치는건 거의 불가능에 가깝지 않을까?

애시당초 데이터 사이언티스트 “N년차”라는 표현을 쓰는게 개발자 중심의 사고방식에서 한발자국도 벗어나지 못했기 때문인 것 같다는 생각도 든다.

(Source: 슬램덩크)

 

나가며 – 그냥 대학원 가세요

학원 출신의 개발자 신입 면접을 보고나서 우리 개발자 분들이 입을 모아서 그러시더라. “포트폴리오에 있는건 아는지 모르겠는데, 그런 퀄리티 결과물을 만들기 위해서 알아야하는 개발 일반 지식을 하나도 모르는 것 같다”고.

데이터 사이언티스트 만들어준다는 학원의 커리큘럼을 보면 비슷한 생각이 든다. 저런 학원 출신이신 분들이 Data Scientist라면 기초적으로 알아야할 대학원 수준의 수학 & 통계학을 얼마나 알고 있을까? 필자는 매우 회의적이다. 증권사 Quant 뽑는데 학위과정에서 제대로 Hard-training을 받으신 분이 아니라, 강남에 있는 학원에서 3개월동안 훈련 받은 분 뽑는다고하면 어떻게 될까? 그 분이 Outlier라면 또 모를까, 애시당초 resume screening을 당했거나, 운이 좋아서 면접을 봤다고해도 윗 분들이 “어디서 이런……?” 같은 말로 인터뷰 프로세스를 중단할 확률이 100%에 수렴할 것이라고 자신있게 이야기할 수 있다.

위에서 말했듯이, Pabii에서 저 학원과 비슷한 교육을 받으신 분께 드릴 수 있는 포지션은 Account Strategy지 Data Scientist가 아니다. 우리회사는, 아니 어지간한 DSP는 이제 Account Strategy가 Data Analyst를 해야하는 시장이 되었기 때문이다. 거기다 그 학원 출신이어서 AS 합격될 가능성이 높아지기 보다는, 그냥 좋은 학교에서 괜찮은 수준으로 수학&통계학 훈련을 받은 학부 졸업생이 더 일을 잘할 것 같다. Data Scientist Intern 지원자들을 보면 거의 대부분 수학 실력에 따라 사고의 깊이와 모델의 깊이가 결정되는 걸 보고 있기 때문에 더욱 그렇게 생각한다. 그리고, Data Analyst가 아니라 Data Scientist 뽑고 싶으면 그냥 통계학 공부 많이하고 모델링에 고민 많이 해 봤을 대학원생을 뽑아서 사내 교육을 시키는게 더 맞을 것 같다.

Pabii의 Data Science 강의를 들으신 분들 (중 학부 출신이신 분들) 대부분이 “이제 뭘 공부해야하는지 알게됐다”, “수학을 왜 배우는지 몰랐는데 이렇게 쓰인다는 걸 알게되어 다행이지만, 앞으로 갈 길이 까마득해 보인다”는 말씀을 하시는 것도 같은 이유일 것이다.

특별히 Pabii가 국내외의 좋은 회사들보다 인력을 찾는 눈이 더 까탈스러울 것 같지 않다. 어차피 사람보는 눈은 거기서 거기니까. 우리가 이렇게 생각하고 시장에 접근한다면, 아마 다른 잘 나가는 회사들도 크게 다르지 않을듯.

저 위에 소개해드린 응원 메일에서 모 대학 공학과 교수님께서 말씀하셨듯이 그동안 통계학 훈련을 받은 분들이 “꼼수”라고 외면했던 계산방법론들을 학교에서도 제대로 가르치려고 하시는 교수님들이 많아졌다. (그 분들이 몰라서 안 가르쳤다기보다, 이게 “꼼수”고 학문적인 접근법이 아닌 경우가 많기 때문에 외면했던 계산법에 불과하다는 사실을 다시 한번 상기해드린다.) 본인이 수학적으로 잘 훈련된 인재라고 생각하신다면, 그런데 정말 Data Scientist가 되고 싶다면, Entry barrier로 수학&통계학 훈련에 대한 강조를 많이하는 석,박사 프로그램을 찾아가서 원리부터 차곡차곡 이해하는 훈련을 받고 나오시길 바란다.

 


공지1: 2019년 3월 29일을 끝으로 데이터 사이언스 주제의 포스팅은 종료됩니다. 이 후에는 파비의 스타트업 운영 관계된 포스팅만 월 1회 작성됩니다.

공지2: 위와 같은날을 기준으로 댓글을 모두 삭제합니다. 추후에는 댓글 서비스를 제공하지 않습니다.

빅데이터 “Integrated Intelligence”를 이용한 비지니스 모델

Pabii 블로그의 가장 큰 흐름을 2개만 잡으라면 하나는 수학과 통계학같은 기초학문이 탄탄해야 요즘 인공지능이라고 불리는 데이터 사이언스 작업을 이해할 수 있다는 포인트와, 빅데이터란 용량만 많은 데이터가 아니라 많은 사람들의 행동 패턴을 추적할 수 있는 데이터라는 포인트다. 그 중 빅데이터에 대한 관점을 좀 전문 용어를 빌려쓰면 집단지성 (Collective Intelligence)통합지성 (Integrated Intelligence)의 구분을 활용해볼 수 있을 것 같다.

요즘 인구에 회자되지만 정작 용어에 대한 정의에 여러가지 혼선이 있는 빅데이터라는 개념은 1,000명의 샘플 유권자 대신 백만명 정도의 유권자들을 대상으로 조사하면 대통령 선거 결과를 좀 더 정확하게 예측할 수 있다는 집단지성의 접근법에서 벗어나, 백만명 각각의 행동패턴 데이터를 따라다니면서 그들의 유사함과 차이점들을 바탕으로 정치 선호를 가늠하는 통합지성의 맥락에서 바라봐야한다.

이전의 다른 글에서 언급했듯이, 통계학 샘플링을 조금만 공부하면 1,000명의 유권자 대신 백만명의 유권자들을 대상으로한 설문조사에서 나오는 장점이 그렇게 많지 않다는 것을 이해할 것이다. 다른 글 링크를 따라가기 귀찮은 분들을 위해서 간단 요약을 하면, 유권자 숫자를 1,000배 늘려봐야 표준오차가 1000분의 1이 될 것을, 32분의 1로 줄이는 정도에 불과하다. 1,000배나 더 많은 사람들에게 설문조사하려고 들어갈 돈을 생각하면, 그리고 적절한 표준 샘플링이 실패할 가능성을 생각해보면 왜 설문조사 기관들이 1,000(+n)명의 유권자들 기반으로 조사하는지 알 수 있게 된다.

반면 통합지성의 맥락에서 바라보면 유권자의 숫자가 많을수록, 그들의 행동 패턴에 대한 데이터가 많을수록 다양한 행동 패턴과 정치 성향을 연결지어볼 수 있다. 특정 후보 A를 지지하는 사람 모두가 동질적인 (Homogeneous) 사람이 아니고, 특정 연령, 성별, 지역만으로만 정치 성향을 함부로 단정지을 수도 없다. 오히려 어떤 웹 컨텐츠를 더 소비하고, 어떤 사회적 지위에 있고, 어떤 사람들과 어울리냐가 훨씬 더 중요한 정보인 경우가 대부분이다. 그런데, 집단지성 기반의 데이터로 어떤 웹 컨텐츠를 더 소비하는지를 추적할 수 있나? 웹 컨텐츠 종류를 잡아내기 위해서는, 그리고 그런 웹 컨텐츠가 정말 정치성향과 맞물려있다는 결론을 내리기 위해서는 많은 사람들의 온라인 행동 패턴을 통해 “학습 (Learning)”한 모델이 있어야한다. 그게 개개인의 단독 데이터였다면 큰 쓸모가 없을 수도 있지만, 많은 숫자의 사람들의 데이터를 모으게 되면 유사한 그룹을 묶고, 그 그룹과 일치하는 성향을 찾아내는 작업이 가능해진다.

이래서 빅데이터통합지성 기반의 데이터라고 부르는 것이다.

(Source: Human Mind Project)

 

통합지성을 이용한 비지니스 모델 1 – SNS

회사 이름 pabii의 마지막 두 개 I는 Integrated Intelligence (통합지성)의 약어다. 개인에게는 단순한 경험적 지식이 서로서로 공유되면 집단의 경험으로 바뀌어서 다른 종류의 “지성”으로 바뀐다는 맥락이다. 다른 글에서 소개한대로, 교통 상황 실시간 업데이트를 보여주는 앱들이 모든 유저로부터 정보를 받고, 그 유저들의 위치와 움직임을 바탕으로 현재 교통 상황을 바로바로 보여줄 수 있는 서비스를 내놓고 있는게 딱 Integrated Intelligence의 좋은 예시라고 할 수 있다.

얼마전 비슷한 서비스를 우연히 알게 되었다. AroundUS (어라운드어스)라는 스타트업이다. 참고로 필자는 이 회사와 아무런 관련이 없다. 단지 검색 중 우연히 알게된 서비스임을 다시 한번 강조하고 시작한다.

서비스 내용은 간단하다. 프리랜서들이 경험했던 프로젝트들을 올려놓고, 서로가 서로에게 레퍼런스를 달아줄 수 있는 플랫폼이다. 보통 면접은 이력서 한 장으로 보지만, 구직시에 경력 증명을 위해서 건강보험 가입 증명서를 요구하기도 하고, 아는 사람을 건너건너서 이전 직장의 뒷 이야기 같은 정보를 구하려고들 한다. 그나마 큰 기업체들에서 장기 근속하신 분들에게는 이런 방식이 꽤나 유용하지만, 프리랜서들에게는 사실 좀 어려운 구석이 있었다.

이 서비스에서 Integrated Intelligence가 들어간 부분은 서로간 Cross-check을 해 주는 부분이다. 프리랜서 개발자 A가 2017년 상반기 6개월간 기업 B의 데이터 베이스 설계 작업 업무에 투입되었다고 해 보자. 그 때 같이 일했던 분들, 혹은 그 프로젝트 결과물을 바탕으로 다음 프로젝트를 진행했던 분들에게 분명히 개발자 A의 업무 퍼포먼스에 대한 정보가 있을 것이다. 업무 기간이 겹쳤다면 같이 일한거 맞다는 인증을 해주고, 일 잘하는 사람이었다면 “님 좀 짱짱맨” 같은 댓글도 달아줄 수 있단다.

이게 왜 Facebook, Instagram 같은 대형 SNS와 다르냐고 물어보니, 업무 관련해서, 특히 프리랜서들 대상으로 특화된 서비스라서 다르다고 하는데, 얼마나 다른지는 직접 관계자가 아니니 함부로 말할 수 없지만, 비지니스 모델을 보는 순간 딱 Integrated Intelligence가 눈에 보여서 소개해본다.

 

통합지성을 이용한 비지니스 모델 2 – 경험담 게시판

비슷한 종류의 서비스를 미국에서 본 적이 있다. 변호사, 회계사 등의 전문직 프리랜서들의 모임 페이지였는데, 그 웹페이지 상에서 서로 계약을 맺고, 비용정산을 다 해주고, 소비자들의 후기가 상세하게 적혀있더라. 그런 후기만 적혔으면 보통의 서비스 페이지에 불과했을텐데, 소비자들끼리 서로 대화도 나누고, 서비스 제공자들이 그 부분은 이해를 잘못했었다, 어떻게 해결하면 된다 등등의 “결합형 후기”가 계속해서 생성되는게 꽤나 놀라웠다.

전문직들도 영업을 직접 뛰러다니는 것보다 그런 플랫폼을 이용하는게 비용이 적게 들어서 좋고, 소비자들도 다양한 경험을 서로 공유하면서 계속 지식이 축적되니 전문직 프리랜서들의 고객응대가 더 좋아질 수 밖에 없는 구조였다. 예를들면, 변호사 1명이 자신의 Forum을 갖고 있고, 거기에 Thread 하나에 사건 하나씩 걸어놓으니 그 변호사에 대해서 궁금한 사람들, 혹은 그런 종류의 사건 해결 방식에 대해서 궁금한 사람들이 관심을 갖고 찾아갈 수 밖에 없는 형태의 정보가 축적되고 있었다. Forum과 Thread 형식의 게시판을 운영하는 영어권 커뮤니티들의 특징을 잘 살린 사례라고 생각한다. 우리나라에도 비슷한 시스템을 구축하면 참 좋을텐데, 게시판 형태가 다르니 약간 방식을 바꿔야할 것 같기는 하다. ㅎㅎ

실제로 머리 아픈 계약서를 쓰다가 이건 전문가의 손을 빌려야겠다는 생각에 변호사 친구한테 적합한 변호사 한 분 소개해달라는 부탁을 했더니,

“무조건 유명한 법무법인 출신이라고 해서 잘 하는 변호사 아닌건 알지? 니가 쓰는 계약서 관련해서 내가 아는 A급 전문가 소개시켜주면 되는거지?”

라고 하더라. 잘 모르는 외부인 입장에서야 단순하게 대형 로펌이 제일 좋지 않을까 생각했는데, 뒷 이야기를 들어보니 사정이 참 달랐다. 고액 수임을 하는 수요자 상당수가 기업체라서 변호사들 대상으로 한 저런 서비스가 한국에서 얼마나 유저 풀을 끌어모을 수 있을지는 모르겠지만, 친구의 말을 듣는 순간 예전에 봤던 영어권의 어느 게시판이, 그리고 Integrated Intelligence가 오버랩이 되더라.

변호사 한 명과 소비자 한 명간의 계약관계로 끝날 수도 있었던 비지니스를 온라인에 공유형으로 바꿔버리고, 모두가 그런 공유를 하면 서로에게 도움이 되는 정보로 바뀌는 것이다. 변호사 A가 변호사 B를 소개해주고 소개비를 받는게 불법으로 알고 있는데, 이렇게 경험 공유형 플랫폼을 쓰면 법적인 이슈도 덩달아 해결되지 않을까? (물론 불평불만 댓글에 소송하실 변호사 님도 있을 것 같아서 현실화하기는 좀 어려울지도 모르겠다 ㅋㅋ)

(Source: Victoria Prooday)

 

통합지성을 이용한 비지니스 모델 3 – 개인맞춤형 서비스

요즘 여러 회사들이 경쟁적으로 시도하고 있는 “개인맞춤형 서비스”들도 모델링 방식에 따라 Integrated Intelligence에 기반할 수 있다. 기존의 고객관리 (CRM)은 고객 A가 뭘 많이 했으니, 고객 집단 B가 뭘 많이 할 것 같으니 그에 맞춰서 마케팅 비용을 쓰자는 방식으로 진행되었다. 여기에 머신러닝 방법론이 도입되면서, 좀 더 세분화된 패턴 매칭이 가능해졌고 (Recommendation Engine, 장바구니 분석 등등), 고객 X, Y, Z가 했던 것과 비슷한 행동을 취하고 있는 고객 M이 곧 고객 X, Y, Z와 같은 결론을 내릴 것이라는 판단아래 선제적인 대응을 할 수 있게 되었다. 기존의 고객 X, Y, Z의 행동 패턴 기록은 각각만 놓고보면 단순한 CRM 데이터 포인트에 불과하지만, 모두를 모아놓고 보면 Integrated Intelligence 서비스가 된다.

주의 사항을 몇 개 던지자면, 꼭 고객 X, Y, Z, M이 같은 성별, 같은 연령대, 같은 지역 사람일 이유는 없다. 기존의 CRM은 행동 패턴 데이터를 DB에 쌓아놓고 이런 패턴 매칭 작업을 하지 않았기 때문에, 인구통계학적인 정보들에 의존하는 경우가 많았다. 꼭 인구통계학적 정보를 쓰는게 구시대적이고 틀렸다고 생각하지는 않지만, 나이, 성별, 지역 같은 내용에 국한되지 않는 개개인의 특성들을 행동으로 잡아낼 수 있으면 굳이 그런 정보에 의지할 필요가 없는 것이다.

실제로 온라인 쇼핑몰 운영하는 기업들에 강의를 나가보면,

“이번에 출시되는 갤X시 노X 구매할 사람들을 찾으려고 하는데, 무슨 특징을 기반으로 골라내야할까요?”

“무조건 특정 연령, 성별, 지역 같은 정보로 구분하는건 이런 상품 살 것 같은 사람 골라내는데는 별로 의미 없지 않나요?”

같은 종류의 질문을 자주 받게 된다.

파비의 사업 모델도 마찬가지다. 이용자의 인구통계학적 데이터나 가장 최근에 어떤 쇼핑몰의 무슨 상품을 봤는지를 이용하는 개인맞춤형이 아니라, 유저 A가 어떤 타입의 사람인지 다른 유저들과의 비교 나열하고, 그에 따라 적절한 광고 매칭을 해주는 서비스다. 개인맞춤형 서비스가 인구통계학적 타게팅에서 지면 콘텐츠에 맞춘 타게팅으로, 그리고 구매를 유도하는 행동 타게팅으로 진화하고 있는데, 한발 더 나가서 개인의 특성을 잡아내는 (Psychographic) 타게팅을 하는 방식으로 Integrated Intelligence를 쓰는 레벨이 점점 더 올라가고 있다.

(Source: Mind Futures)

 

 

나가며 – 빅데이터 as in 통합지성

빅데이터는 데이터의 특성을 의미하는거고 집단의 행동특성은 분석에 해당되는거라 구분이 필요하실거 같습니다

최근에 위의 댓글을 봤다.

빅데이터에 대해 모두에게 공통적으로 받아들여지는 정의가 없는 상황이고, 누구나 자신만의 정의를 가질 수 있기 때문에 틀렸다고 하지는 않겠다. 다만 저런 정의로는 요즘의 “빅데이터”가 이전 시절의 “스몰데이터”에 비해서 특별히 다른 통계툴을 써야할 이유가 없다. 마찬가지의 맥락에서 집단의 행동특성을 잡아내는 작업을 “분석”이라고 부르는 것도 기존의 데이터 “분석”하는 작업의 구태에서 벗어나지 못했기 때문에 나오는 정의가 아닐까 싶다.

빅데이터는 통합지성을 활용할 수 있는 형태의 데이터, 많은 수의 사람들이 보여주는 행동패턴을 담은 데이터라는 관점에서 바라보면, 데이터를 더 이상 “분석”한다는 표현을 쓰기가 어렵게 된다. 타입 A는 결론 C를, 타입 B는 결론 D를 낸다는 이야기를 하는데서 그치는게 아니라, A-B-C-D 체인과 B-C-D-A 체인간의 차이에서 나오는 결과값과 X-Y-Z-M 체인과 Y-Z-M-X 체인간의 차이에서 나오는 값들이 전체 큰 그림에서 티끌만한 일부의 영역인 데이터를 “분석”으로 접근하기에는 어렵지 않을까 싶다. 이래서 더 높은 차원의 모델링이라는 개념이 들어오는 것이다.

가끔 “이런 데이터 어쩌고, 인공지능 어쩌고 하는 이야기들이 그냥 트렌드 용어가 아니라 정말 10년, 20년 후에도 쓰일만한 지식인가요?”라고 묻는 분들이 있다. 집단지성 vs. 통합지성, 대용량 데이터 vs. 행동패턴 데이터, 분석 vs. 모델링 같은 관점에서 바라보면, “코드만 카피하시는 분들께는 아니겠지만, 기초지식을 탄탄히 하시는 분들은 10년, 20년 후가 아니라 그 이후에도 계속 같은 지식을 쓰실 수 있을 겁니다”라고 대답하겠다.

 

 


공지1: 2019년 3월 29일을 끝으로 데이터 사이언스 주제의 포스팅은 종료됩니다. 이 후에는 파비의 스타트업 운영 관계된 포스팅만 월 1회 작성됩니다.

공지2: 위와 같은날을 기준으로 댓글을 모두 삭제합니다. 추후에는 댓글 서비스를 제공하지 않습니다.

몇 달전, 약학 관련 전공으로 연구직에 계신 분이 한 달 수업을 들으셨다. 이해가 부족한 것 같아 재수강을 하고 싶다고 하시던데, 처음에는 흔쾌히 승낙했다가, 질문하시는 내용이나, 나중에 메일 주신 내용들을 한참동안 다시 생각해보니 아무리봐도 이해가 부족한 부분을 다시 듣는다고 메워질 것 같지가 않더라. 제 수업을 다시 듣는 것보다, 당장은 수학과 통계학 공부를 더 많이 하시는게 맞는 것 같습니다. 같은 회귀분석이어도 교수님마다 수업 스타일이 다를테니, 그런 수업들 몇 개를 우선 찾아서 듣고 난 다음에 다시 찾아오시는 쪽을 추천드립니다고 메일을 썼다.

솔직히 말해서, 수업에서 만나는 분들 거의 대부분이 재수강한다고 수업 이해도가 높아질 분보다 당장 수학, 통계학 기초부터 다져야 될 것 같은 경우가 더 많다. 특히 (수리)통계학 훈련이 많이 안 된 수강생일수록 이런 문제를 더 강하게 느낄 수 밖에 없다.

이 분들의 본래 의도와 생각이 어땠는지는 모르겠지만, 필자의 눈으로 볼 때 “기존의 통계학보다 머신러닝 방법론을 쓰면 더 결과값이 좋다, 더 쿨(Cool)해 보인다, 더 저널에 퍼블리쉬하기 쉽다”는 정보만 입력된 상태지, 정작 머신러닝 방법론들이 모두 통계 방법론이라는 사실을 제대로 인지하고 있는 것 같지 않아 보인다.

 

왜 데이터 사이언티스트 연봉은 높을까?

크X 브라우저 첫 화면에 유저의 검색 기록과 매칭되는 신문기사 글, 블로그 글이 추천되어 있는 경우가 있다. Referrer 로그에는 googleapis.com으로 남는데, 우리 Pabii 블로그에 대한 외부 유입 중 상당수가 한국어 크X 브라우저에 노출된 블로그 글을 타고 들어오기도 한다.

필자는 스마트폰 셋팅이 영어라서 항상 영문 글이 추천 목록에 떠 있는데, 얼마전에 KDNuggets.com 이라는 꽤 유명한 데이터 사이언스 관련 블로그에서 “왜 데이터 사이언티스트 연봉은 높을까?”에 대한 글을 봤다.

글에서 든 근거들을 보면,

  • 공급이 없는데 – 학교들이 DS 석사를 겨우 20-30명 밖에 안 뽑는다
  • 수요는 넘쳐나니까 – 그런데 회사들은 너도나도 뽑으려고 아우성이다

그래서 내놓은 해결책이라는게

  • MOOC 강의 공급을 통한 대규모 교육
  • 자동화 알고리즘 도입

정도이다.

솔직히 문제 인식이나 해결책이 모두 마음에 안 드는데 (언제는 KDNuggets.com에서 본 글이 맘에 든 적이 있었냐만은…), 일단 필자가 좋아하는 경제학 용어인 수요-공급으로 정리를 해 놨으니, 본 글에서도 이 문제를 인재의 공급과 인재에 대한 수요라는 측면으로 나눠서 생각해보자.

 

데이터 사이언티스트 공급 시장

착각 1. MOOC 교육을 통해 데이터 사이언티스트 교육이 가능하다

사람들이 착각하는 것 중 가장 큰 착각을 딱 하나만 고르라면, 데이터 사이언티스트가 시장의 단순 교육으로 충분히 공급될 수 있다는 것이다. 어마어마한  착각이라고 할 수 있다.

왜? Pabii에서 지난 1년 반동안 나름대로 고급 퀄리티의 데이터 사이언스 강의를 운영해봤다. 일단 수학, 통계학 모르면 애시당초 오지마라고 딱 자르기도 했고, 대략 200명 남짓의 수강생 중에는 현직 교수, 연구원, 자연과학 및 공학 박사 과정생, 석사 이상 직장 경력자 등등 우리나라에서 상위 1% 급 (아니, 0.1% 급..)의 뛰어난 인재 분들이 30~40% 정도였다. 그 중 필자의 수업을 알아먹고, 이걸 당장은 아니어도 매우 가까운 시일내에 자기 커리어에 활용할 수 있을 것 같아 보이는 정말 뛰어난 인재의 최소 학력은 통계학 학부 이상, 타 전공 석사 이상인 분들이었다고 생각한다.

말을 바꾸면, 기존에 수학, 통계학 훈련이 탄탄하게 되어 있지 않은 인재 분들께 필자의 수업은 좌절감만 심어주는 강의였을 확률이 높다는 뜻이다. 학부 통계학 전공은 아니지만 개인적으로 공부를 많이 하신 분들 거의 대부분은 “앞으로 얼마나 더 공부해야할지 까마득해보이지만, 일단 공부할 방향을 잡은 것에 만족한다” 정도의 답변을 주셨던 것이 무리는 아닐 것이다.

Pabii의 데이터 사이언스 강의보다 퀄리티가 낮은 대다수의 MOOC 강의들 몇 개를 듣고 데이터 사이언스를 제대로 이해하고 활용하는건 더더욱 어려운 일일 것이다.

 

착각 2. 데이터 사이언스 교육 과정을 거쳐야 데이터 사이언티스트가 될 수 있다.

위의 DS 석사 프로그램 학생 숫자 20-30명 이야기에 대한 정면 반박이 될 수 있을 것 같은데, 사실 필자가 실리콘밸리에서 면접볼 때 만났던 사람들 중에 Quantitative PhD 학벌이 없는 사람은 아예 없었고, 모두가 Quantitative PhD에서 배운 내용을 자기 업무에 쓰고 있었다. 말을 바꾸면, 데이터 사이언스 석사 레벨이 아니라, 수리통계학을 자기 학문에 응용하는 훈련을 박사 수준으로 했던 사람들이 그냥 이쪽 분야에 흘러들어와서 일을 하고 있었다는 것이다.

냉정하게 말해서 DS 석사 이후에 직장 생활을 시작하면 Multi-task learning 모델 개발을 담당하는게 아니라, 아마 A/B 테스트 계정 수십개를 떠맡아서 결과값 정리하는 Data Analyst 같은 업무를 하게 될 것이다. 배운 수리통계학 모델링 격차가 어마어마할텐데, 어떻게 복잡한 모델링을 그대로 맡길 수가 있을까?

예전에는 수학과 공학 일부 PhD 과정 중에 자기 학문에 흥미를 잃은 사람들 중 일부가 Wall Street에 몰려갔었다. (사실 돈을 많이주니까ㅋㅋ) 그 동네 Quant가 원하는 Stochastic Calculus 문제를 풀어내려면 동일한 종류의 수학 훈련을 받았어야하는데, 물리학이나 기계공학 같은 전공 일부가 그 방법론으로 자기네 모델을 만들었기 때문이다.

같은 맥락으로 요즘은 박사 연구과정 중 통계학, 특히 계산 통계학 방법론을 써 봤던 사람들이 전공에 관계없이 Data Scientist 포지션에 지원을 하고 있다.

정리하면, DS 석사 프로그램의 학생 숫자가 적어서 공급이 부족한 것이 아니라, 이런 종류의 Academic 훈련을 받은 사람들이 흔치 않기 때문에 공급이 적은 것이다. 그리고, 배워보고 가르치며 양쪽을 다 경험한 입장에서 이런 훈련을 단순히 MOOC 교육으로 해결하는 것은 거의 불가능에 가깝다고 생각한다.

 

데이터 사이언티스트 수요 시장

착각 1. 우리 회사에 Data Scientist가 오면 대변혁이 일어날 것이다

일부 Data Scientist들이 몇몇 과제들에서 이런 대변혁을 일으킬 수 있다는 걸 인정한다. 특히 필요한 데이터를 잘 갖춰놨고, 그 Data Scientist의 역량과 매칭이 잘 되면 빠른 시간내에 좋은 성과가 있을 수 있다는 걸 몇차례 눈으로 본 적도 있다.

그러나, 현실은 녹록치 않다. 거의 대부분의 회사들이 쓸모없는 데이터들만 쌓아놓고 우리회사는 빅데이터 시스템을 갖추고 있다고 주장하고 있고, 또 많은 데이터 사이언티스트들이 모든 것을 전지전능하게 다 알고 있는 Grand Master 급이 아니다. (그런 분이 과연 있을까….)

빅데이터 시스템을 갖추고 있다고 우기기를 시전하는 회사들에 대한 불평불만은 본 블로그에서 여러차례 노출했으니, 시장에서 흔히 만날 수 있는 데이터 사이언티스트들이 어떤 사람들인지부터 짚고 넘어가자.

우선, Data Engineer, Data Analyst들을 제대로 솎아낸 Pool이라고 해도 밖에서 데이터 사이언티스트라고 부르는 사람들 중에 데이터 모델링이 가능한 인재는 극소수다. 데이터 모델링이 가능한 인재들은 보통 학계에 자기 전공의 문제만 붙잡고 앉아있고, 학교가 아니면 연구소에 모여 있을 것이다. 자기 전공의 문제 하나를 해결하고, 그런 지식을 적용하는 부분에서 충분한 금전적인 보상을 받고 있고, 사회적인 지위도 높다. 굳이 연봉 1-2억에 자기 전공 밖의 문제를 다루며 스트레스 받아야하고, 언제 짤릴지도 모르는 사기업의 전쟁터로 발을 내디딜 필요를 못 느낄 것이다. (뭐… 한국 기준으로 3-4억 이상의 연봉이라면 생각해볼 모델러가 일부 있을지도…)

그리고, 설령 그런 모델러 한 두명이 시장에 진입한다고해도, 이 분들과 의사소통이 너무 어렵다. 교육받은 사람들끼리는 단어 한 두개로 설명하고 넘어갈 상황을 비전문가에게 설명하려면 몇 분 이상 대화를 해야하는 경우가 허다하다. 그 뿐이랴? 데이터로 뭔가 만들었다는걸 보여줘야하는데, 관련된 수학 개념 하나 제대로 이해하는 사람도 없는 회사에서 그런 설명을 하는건 시간낭비가 될 가능성이 높다. 결과물만 볼려고 하겠지. 이런 모델러와의 커뮤니케이션을 지원하겠다고 Data Visualization쪽 전문가를 뽑는 회사도 봤었는데, 이런식으로 Data Scientist 팀을 하나 구성하려면 1-2명을 뽑아서 될 문제가 아니라, 평균 연봉 3억 이상인 전문가 열댓명으로 한 팀을 만들어야 한다.

한국에서 그 정도 비용을 들어가며 팀을 운영하고, 보고 받은 내용을 소화할 수 있는 보스가 있는 회사가 몇 개나 될까? 근데, 그 정도 팀을 만들기 전까지는 Data Scientist 한 명으로 “대변혁”을 만들어내는 건 거의 불가능에 가깝다.

 

착각 2. 설령 Data Scientist를 뽑지 못하더라도 곧 자동화 알고리즘으로 해결될 것이다

실리콘밸리에서 모든 데이터 사이언스 작업을 자동으로 처리해줄 수 있다고 주장하는 스타트업이 나타났다. MindsDB라는 회사다. 필자와 배경지식이 비슷하신 분들은 바로 감을 잡겠지만, 그냥 사기꾼 하나 등장했구만이라는 생각을 바로하게 될 수 밖에 없는 회사 소개였는데, 실제 결과물도 크게 다르지 않다. 문장을 입력하면, 그 문장을 자연어 처리해서 이해한다음, 그 내용을 바탕으로 쿼리를 때려서 데이터를 추출해주는 서비스였는데, SQL 쿼리 치는 작업은 Data 관련 업무하는 사람들 모두에게 가장 기본적인 지식이고, 이거 배우는데 며칠 걸리지도 않는다.

이런식으로 그럴듯한 말로 상품을 팔아치우는 회사들 뿐만 아니라, 간단한 통계학 알고리즘이나 이미지 인식, 자연어 처리 프로세스를 이용한 서비스는 이미 많이들 나와있다. 그 서비스들을 이용한 앱들이 출시되는 경우도 있고, 라이센스 Fee 주기 싫다고 자기네가 직접 그런 알고리즘을 만드는 경우도 흔히들 본다. 대부분의 서비스들이 복잡하지 않은 알고리즘을 쓰고 있기 때문에, 복제가 그렇게 어렵지 않다.

이런 일들이 비일비재하다보니 곧 자동화 알고리즘으로 모든 문제가 한번에 뚝딱 해결될거라고 생각하는 분들이 참 많은데, 제발 그런 알고리즘 좀 나와서 필자가 하고 있는 데이터 전처리도 쓱싹쓱싹 해결해주고, Factor extraction 작업이나 모델링 작업도 알아서 척척척 해 줬으면 좋겠다. 근데, 자동화 알고리즘이 필자의 머릿속 생각을 바로바로 구현해 줄 수 있는 세상이 오면 이 세상에 있는 거의 모든 박사 과정 프로그램들이 없어질 것이다. 아니, 인간은 더 이상 학문을 공부할 필요가 없어질 것이다.

바꿔 말하면, 그런 자동화 알고리즘 따위는 없다. 냉수 한잔 마시고 정신들 차리시라.

 

나가며 – 데이터 사이언티스트 연봉은 높을 수 밖에 없다

데이터 사이언티스트, 특히 빅데이터를 이용해 모델을 만들고, 그 모델을 사업에 적용하는 계산/논리 알고리즘의 형태로 뽑아낼 수 있는 능력을 가진 사람들은 박사 과정 훈련을 통해서만 양성되고, 그 사람들은 이미 자기 학문의 영역에서 괜찮은 대접을 받고 있다. DS 석사에게 이런 능력을 기대할 수 없고, 당연하겠지만 MOOC 강의 몇 개 들었다고 그런 모델링 작업을 요청하는건 일종의 도박에 가까운 일이다.

경제학 박사했던 친구들이 국책 연구소만 가도 연봉이 억대가 넘고, 파이낸스 박사 했던 친구들 중에 Quant 계열인 친구들은 최소 20-30만불 연봉으로 자기 커리어를 시작한다. 필자가 잘 모르는 몇몇 자연계열, 공학계열 박사 친구들도 상황은 크게 다르지 않을 것이다. 그 중에서도 수학, 통계학 훈련을 제대로 받은 사람들이 도전할 수 있는 업무인데, 연봉을 아껴서 어떻게 좋은 인재를 뽑을 수 있을까?

그런데, 모든 증권사에서 Quant가 필요했던게 아니라, 관련 금융 상품을 직접 만들던 몇몇 회사만 그런 고급 인력을 썼던 걸 생각해보면, IT업계에서도 단순히 우리 회사 데이터 많다는 이유로 무작정 Data Scientist를 뽑아야하는지도 잘 모르겠다. 위에 썼듯이, 제대로 돌아가는 팀을 만들려면 노동비가 엄청나게 들어갈텐데, 그런 비용을 들여서 회사가 얻을 수 있는 부분이 별로 없다면 굳이 Data Scientist를 뽑아야할 필요가 있을까?

Pabii가 집중하고 있는 DSP 사업을 비롯해서 몇몇 서비스들은 필수불가결하게 고급 Data Scientist 팀이 있어야겠지만, 그외의 거의 대부분의 IT 서비스들은 단발성으로 외주를 주는 방식으로 인력을 구성하는게 맞지 않을까 한다.

 

Pabii에서 데이터 사이언티스트 인턴을 채용합니다.

 

주요 업무

Pabii의 출시 예정 앱에 들어가는 모델링 작업 지원

기타 회사 잡무

 

필수조건

학부 수준의 선형대수학, 회귀분석

Pabii의 데이터 사이언스 강의 수준의 머신러닝 지식

데이터 모델링 경험 (*본 블로그에서 인정 받을 수 있는 모델링 경험)

(정규 데이터 사이언티스트에게 요구하는 필수 지식 사항 참조 링크)

 

우대조건

Pabii의 데이터 사이언스 강좌 수강생

Pabii의 모델링 강좌 수강생

각 대학 별 계량 마케팅 과목 수강생

온라인 광고 시장에 대한 (수학적, 통계학적, 경제학적) 이해도

다수의 데이팅 앱 실제 사용 경험자

 

기타사항

업무 시간: 오전 9시 ~ 오후 6시 (각각 +-1시간), No 야근, No 회식

근무 기간: 3개월 ~ 최장 6개월

정직원 승격: 개인 능력에 따라 인턴 기간 종료 후 Data Analyst (not Scientist)로 채용

 

주의사항

R, Python, Julia 등의 코딩 실력에 관심없습니다.

수학, 통계학, 머신러닝에 대한 이론적인 이해도와 모델링 센스에 대한 지식만 확인합니다.

 

지원방식

간단한 블로그 감상평 (you can be critical, if you can)

1-pager resume and 1-pager only

이메일: [email protected]

 

채용 완료 시 삭제합니다.

개발자 면접을 보다보면, 파비의 사업모델은 뭐냐, 기술 역량은 얼마나 뛰어나냐,  비지니스 철학은 뭐냐 같은 종류의 질문을 받는 경우가 있다. (더불어서 돈 많냐, 월급 떼어먹는거 아니냐 등등의 스타트업이 으레 받을법한 부끄러운 질문도 가끔 받는다ㅋㅋ 우리 돈 많다ㅋㅋ) 보안 이슈 때문에 이미 회사 홈피나 다른 블로그 글에 다 공개되어 있는 부분 이상으로 딱히 더 설명해 줄 부분은 없는데, 그래도 좋은 인재를 잡고 싶은 마음에 이것저것 설명을 좀 더 깊게 해 주기도 한다. 보통은 회사 홈피와 블로그를 자세히 안 보고 온 티가 나는게 설명이 좀 더 깊어지면 눈빛이 흐려지고 무슨 말인지 잘 모르는 표정들이 된다.

그렇게 사업모델을 설명하다보면 참 재밌는 현상을 볼 수 있는데, 설명 초반부에 개발자들 표정이 참 밝다. 그 정도는 나도 만들 수 있다는 자신감의 발로일 것이다. 가끔은 여기 나가면 내가 당장 그거 만들어서 니네 사업모델 뺏들어야겠다는 느낌의 표정을 짓는 분들도 있다.

그런 자신감 or 거만함 넘치는 표정이 좀 보기 불편해져서 유저들간 동질성 / 이질성을 구분해내는 Homogeneity index를 찾아내는 아이디어로 박사시절에 은행별 포트폴리오의 유사성을 잡아내던 Dummification, Weighting matrix 계산 같은 걸 슬쩍 언급하면 그 개발자들의 표정이 갑자기 매우매우매우 어두워진다. 표정 변화를 보고 있으면 은근히 재미있다 ㅋㅋ

사실 그렇게 눈에 보이는 계산식 부분은 아무것도 아니고 (그 정도는 Pabii의 데이터 사이언스 기본 수업에서 다 가르쳐주는 부분이다), 그 전에 데이터 전처리해야할 부분에 대한 고민으로 매일같이 머리가 깨지는 고통을 겪고 있다. 아마 수업을 찾아오셨던 분들은 여기서 말하는 데이터 전처리라는게 NA 메워넣는 작업이 아니라, 데이터 재구성이라는 점을 말해주지 않아도 이해하실 것이다.

그런 데이터 전처리 중에 그나마 좀 쉽게 이해될만한 내용만 몇 가지 정리해보자.

 

2-Stage-Least-Square

연말 보너스 산정을 하는데, 우리 팀이 지난 1년간 온갖 열정 (이라 쓰고 야근, 주말 출근이라 읽는다)을 쏟은 끝에 매출액이 급상승 했으니 우리 팀원에게 좀 넉넉하게 보너스를 주고 싶다는 주장을 하는 팀장님이 있다고 생각하자.

그 회사 인사팀에서는 올해 그 팀에서 설비를 5대나 사들여 놓은 탓에 매출액이 폭증한거지, 정작 인력 투입으로 얻은 성과는 그렇게 크지 않다며 보너스 요구를 받아들이지 않는 상황이 생기면 어떻게 될까?

누가 맞는걸까? 이런 “논리”의 싸움은 맞다, 틀리다를 알 수 없으니 그냥 적당히 타협하는 보너스를 주자고하면 될까? 그럼 납득을 못하는 팀원들의 불만은 어떻게 잠재울 수 있을까? 그 팀에 보너스가 간다고 기분 나쁜 다른 팀들의 불만은 어떻게 잠재워야할까?

사실 이런 상황은 정말 간단한 2-stage-least-square를 이용해서 맞다, 틀리다를 말할 수 있다.

에이~ 수학으로 설명하면 누가 받아들이냐고?

매출액이라는 종속변수 (y)는  분명히 우리 팀원들의 열정(….)과 설비 5대의 결합물일 것이다. (물론 운, 시장 트렌드 등등의 외부적인 요소가 끼여들었을 여지는 인정한다.) 여기서 설비 5대가 정말로 효과가 있었는지를 “수학적”으로 어떻게 검증하냐고? 설비 5개 증가값을 X1으로 우리팀의 노동력 투입을 X2로, 나머지 변수들 X3으로 놓고, Y를 X1으로 Regression 한 다음 (1st-stage), 잔차항을 다시 X2, X3으로 Regression하면 된다 (2nd-stage). 만약 X1의 기여도가 컸다면 매출액 증가분 (y값의 상승분)이 X1으로만 설명되는 현상이 나타날 것이다.

그런 수학식이 무조건 맞다는 법이 어딨냐고? 매출액이라는 데이터도 결국은 N차원의 Vector고, 모든 Vector들은 여러개의 다른 Vector들의 합성으로 표현될 수 있다. 고등학교 수학이다. 그렇게 벡터를 쪼개보는 방식으로 지구 자전 & 공전 중에 위성 발사의 궤도가 어떤 영향을 받을지도 계산하고, 핵무기를 실은 대륙간 탄도탄 미사일의 궤도도 오차범위 5m 내외의 무서운 정확도로 계산할 수 있다. 그런 우주적인 힘의 영향을 높은 정확도로 계산하는 작업쯤 되어야 “수학”을 붙이지, 겨우 매출액 같은 단순 그래프를 여러개의 Vector로 쪼개는 작업에 “수학”이라는 명칭을 붙이는 것도 민망하다.

 

Instrumental variable (IV)

빅데이터 시대가 왔다고 데이터가 넘쳐난다고들 말이 많은데, 정작 데이터 사이언티스트 입장에서 필요한 데이터는 항상 없다. 예를 들어, Pabii의 사업 모델에서 유저들의 온라인 구매 데이터 유무는 우리 회사 상품 라인업을 바꾸고, 심하게는 사업의 존폐에 영향을 끼칠만큼 중요한 정보다. 근데, 쇼핑몰들, 카드사들에게 돈을 주고 그 정보를 사지 않는 이상, 유저들의 구매 데이터를 구할 방법이 없다. 거기다 그렇게 제 3자에게 데이터를 파는 것은 원칙적으로 불법이다. (이 문제를 어떻게 해결하고 있는지는 회사 기밀이므로 여기에 따로 공개하지는 않는다.)

위의 문제를 해결하는 실마리가 될만한 간단한 사례를 하나만 쉐어해보자. 과금형 게임을 하는 유저들 중, 장시간 게임을 하는 유저들 대부분은 아이템을 돈 주고 구매 (속칭 “현질”)하지 않는다. 반면, 짧게 짧게 플레이해서 스트레스를 해소하려는 목적으로 게임하는 유저들은 괜히 경험치 끌어올리려고 밤을 새느니 그냥 아이템을 사고 마는 경우가 잦다. 자, 이런 정보가 있다면 게임 하는 시간을 “어떻게, 잘” 이용하면 현질유저인지, 경험치 노가다 유저인지 구분할 수 있지 않을까? (물론 정확도가 100%는 아니겠지만…)

이런식으로 실제 필요한 데이터는 없지만, 유사한 정보를 보여줄 수 있는 데이터를 도구 변수 (Instrumental variable, IV)라고 한다. 수학적으로 표현하면, 특정 데이터 셋이 보여주는 Vector Space와 유사한 Vector Space를 재구성해 줄 수 있는 데이터 셋이라고 생각할 수 있다.

가만히 보면 우리가 갖고 있는 데이터들 상당수가 이런 방식으로 데이터 처리만 잘 하면 Vector Space 메워넣기가 가능한 경우가 많다. 이걸 단순히 Neural Net에 집어넣으면 알아서 척척척 해주는거 아닌가요라고 묻는 특정군의 사람들이 있다는 걸 알지만, 학부 선형대수학 수준의 지식만 있어도 그런 마구잡이식 Network 모델이 아니라 합리적인 데이터 재구축 및 변수 선정이 필수적이라는 걸 이해하실 것이다.

실제로 IV를 쓰는 것을 수학적인 “결례”라고 생각하고 폄하하는 통계학자들도 있고, IV없이 연구가 거의 불가능한 사회과학 문제를 붙잡고 계신 연구자 분들도 있다. (가까운 친구 중엔 IV로 졸업 논문쓰고 박사 받은 친구들도 꽤 된다.) Vector Space를 완벽하게 보정해주지도 않고, A변수랑 B변수랑 연관 있을 것 같아서 이렇게 IV를 골랐습니다와 같은 주먹구구식 설명에 회의감을 느끼는 분들께는 대단히 죄송하지만, AdTech 비지니스를 하다보면, 특히 법적 제약의 범위 안에서 쓸 수 있는 데이터만 갖고 고민하다보면, IV를 어떻게 찾아야할까, 어떻게 구성해야할까에 대한 고민이 깊어지는 경우가 많다. 위의 과금형 게임 유저 찾기는 하나의 작은 예시일 뿐이다.

 

Dummification by Tree

Tree 계열 모델 (Decision Tree, Random Forest, Gradient Boosting 등)을 언제 쓰는게 더 합리적일까? 단순히 결과값이 잘 나올 때 쓰는거 아니냐고?

Tree 모델의 계산 방식, 정확하게는 Tree가 추가되는 과정을 하나하나 살펴보면, Monotonic increase/decrease가 있는 데이터 셋에서는 크게 효과를 보지 못할 계산법이라는 걸 바로 파악할 수 있다. (설명 타이핑하기 귀찮으므로 2019년 1월 수강생 후기 참조ㅋ. 신진수 님 설명 감사합니다.)

비슷한 예제를 이전 글에서도 공유했었는데, 약품 투약의 효과가 혈당 수치 x1 ~ x2 구간, x5 ~ x6 구간에서만 긍정적으로 나타나고, 나머지 구간에서는 전혀 효과를 못 본다는 연구 결과가 있다고 하자. 아마 x2 ~ x5 사이의 혈당 수치를 가진 환자 분께는 그 약품 대신 다른 약품을 써야할 것이다. 이런 식으로 특정 기제의 효과가 지속적으로 상승/하락하지 않는 경우가 위에 말한 Monotonic increase/decrease에 해당하는 사례인데, 이럴 때 데이터 처리를 전혀 하지 않는다고 가정하면 당연히 Regression 계열의 모델들보다 Tree계열의 모델이 훨씬 더 Fitting에 적합할 것이다.

Tree가 하나하나 추가될 때마다 x1 ~ x2 구간, x5 ~ x6구간에서 1, 나머지 구간에서 0인 것을 세세하게 구분할 것이기 때문이다. 반면 Regression 모델로 Fitting 작업을 했으면 x2 ~ x5 구간에서 효과가 없었던 탓에 평균적으로는 그 약품의 효과가 별로 안 좋았다는 결론이 나올 가능성이 높아진다.

그래서 앞으로는 Tree모델을 쓴다고 결론내리면 될까?

Tree 모델로 데이터의 구조가 이렇다는 걸 파악하고나면 필자는 혈당수치 값을 Dummification한다. (머신러닝하는 친구들은 이걸 One-Hot-Encoding이라고 부른다.)

왜? Regression으로 계산하는게 각 변수별 효과를 컨트롤하기도 좋고, 내 모델이 어떻게 돌아가는지 하나하나 짚고 가기 훨씬 더 효율적인 구조를 갖고 있는데, 혈당수치1구간, 5구간만 0/1로 놓는 방식으로 데이터 구조를 바꾸고나면 굳이 Tree한테 맡겨놓고 알아서 계산해주겠지라며 넋놓고 기다리는 짓(?)을 안 해도 되기 때문이다. (같은 맥락에서 Neural Net을 무조건 쓸게 아니라, 데이터 구조를 파악하고나면 굳이 그런 Computationally heavy한 계산법을 피할 수 있는 경우도 많다)

이런 Computational approach를 깊이있게 공부하신 분들은 다 알겠지만, 계산속도 느리고, 데이터 셋 바뀔 때마다 모델 변형이 잦고, 구조적으로 컨트롤이 안 되는 모델은 언제나 연구자들에게 차선책에 불과하다. 데이터 구조만 살짝 바꾸면 굳이 Tree를 안 써도 되는데 굳이???

 

나가며 – 1류 Data Scientist란?

전공마다 상황은 조금씩 다르겠지만, 필자가 있었던 Mathematical Finance 전공에서 “데이터를 이용한~”이라는 접근 방법, 통칭 “Empirical research”는 홀대를 받는 정도에 그치는게 아니라, 아예 리그가 낮은 연구자들이나 하는 작업이라는 이미지가 강했다. 쉽게 말하면 수학 모델링을 이용해 우리 전공의 문제를 풀어내면 메이저리그고, 데이터로 그런걸 보여주는 연구자들은 마이너리그 취급을 받았다. 왜냐고? (머리 많이 쓰는) 수학 모델링 작업은 (별로) 없고, (머리 별로 안 써도 되는) 데이터 전처리하다가 세월 다 보내는 경우가 허다했기 때문이다.

물론 그런 Empirical research하는 분들도 우리 필드의 그 누구도 생각해내지 못한 기발한 방법으로 모델을 만들거나, 데이터를 완전히 다른 방식으로 변형해서 상상하지도 못한 함의를 이끌어내는 분들도 있었기 때문에, 배우는 입장에 있던 필자는 특별히 Empirical research를 무시하거나 하진 않았다. (오히려 더 좋아했던 것 같다^^) Empirical 이라고 무시당하던 분들은 보통 하늘에서 뚝 떨어진 방정식 하나를 주장하는 분들이었지, 수학적인 아이디어를 교묘하게 활용해 데이터를 색다르게 쓰시는 분들은 굳이 마이너리그 대접을 받지는 않았다. 왜? 그 분들은 (수학적으로) 머리를 많이 써야되는 데이터 전처리를 하셨기 때문이다.

학계의 분위기를 소개하는 이유는, 요즘 머신러닝을 이용한 어쩌고, 딥러닝을 이용한 어쩌고라는 서비스 만든다는 분들께도 직접적으로 해당되는 사례이기 때문이다. 별 생각없이 데이터를 무작정 입력하기만 하면, 정말 마이너리그 취급이나 당하는 이른바 “2류 연구자” or “2류 데이터 사이언티스트”밖에 안 될 것이다. 정말 “1류”가 되고 싶다면, Empirical research로도 존경받는 그 연구자 분들처럼 데이터를 활용하는 방식에 대한 고민이 담긴 결과물을 비지니스에 가지고 올 수 있어야 한다. 그래야 남들이 따라할 수 없는 결과물을 만들어내는 “몸 값하는” 데이터 사이언티스트가 되는 것이다.

그런 데이터 전처리를 잘 하려면 위의 모델들만 몇 개 골라서 공부하면 되냐고? 글쎄다. 저건 필자가 대학원에서 몇 년동안 통계학 공부한 지식을 실제 데이터 전처리를 하던 중에 적용해 본 몇 가지 사례들에 불과하다. 데이터 사이언스 공부하고 싶으시거든 구글 검색창에 “최신 인공지능 계산법” 같은 낯뜨거워지는 검색어 입력하시지말고, 통계학 교과서를 다시 펼쳐보시는건 어떨까?