Instagram 수석 엔지니어가 회사와 고객에게 알고리즘 개선 결과를 납득시키는 2가지 접근법 - 의도와 결과의 공유

07/07/2022, 01:06

전 Instagram 수석 엔지니어 Thomas Dimson는 2016년 대대적인 개인화 순위 알고리즘 구축 프로젝트를 리딩했던 경험을 바탕으로 알고리즘 투명성에 관한 2가지 아이디어를 제안합니다.

1. 배경
- 추천 알고리즘은 어디에서나 쓰입니다. Youtube나 Instagram 같은 미디어 제품을 예로 들면, 고객은 알고리즘을 통해 엄청나게 많은 양의 콘텐츠 중 가장 유용하고 재미있는 콘텐츠만 뽑아 볼 수 있습니다.
- 한 제품의 고도화된 알고리즘은 그 복잡성과 보안상의 중요성 때문에 불투명한 경우가 많습니다.
- 알고리즘이 가끔 유해하거나 불합리한 결과를 보여줄 때 이 불투명성은 문제가 됩니다.
- 가령 유해성 기준을 머신 러닝으로 판단해, 해당 영상의 수익을 막는 Youtube의 '노란딱지' 등의 사례가 있습니다. 알고리즘이 유해성의 기준을 판단하기에 사람은 그 과정을 이해할 수 없는 경우가 대부분입니다.

2. '오픈 소스 알고리즘' 개념 등장과 한계
- 이러한 상황에서 등장한 것이 오픈 소스 알고리즘 개념입니다.
- 오픈소스 알고리즘은 결과에 관여하는 각종 가중치와 코드를 공개하여 불투명성을 해소합니다.
- 하지만 Thomas는 세부사항의 공개도 머신 러닝 모델이 만들어내는 결과를 이해할 수 없을 것이라 말합니다.
- 최근 소비한 콘텐츠, 사용자의 친구 중 특정 콘텐츠에 좋아요를 누른 비율, 사용자가 있는 지역에서의 참여율 등 알고리즘의 결과물은 수백만 개의 요인을 검토한 결과이며, 다른 알고리즘의 결과를 참고하기도 합니다.
- 이와 같은 규모와 복잡성을 지닌 알고리즘을 가중치의 나열만으로 이해한다는 것은, 뇌 세포 하나 하나를 조사해서 심리학을 이해하길 바라는 것과 같은 상황입니다.

3. 작동 방식 대신, 효과
- Thomas는 알고리즘 작동 방식 대신, 알고리즘 실험으로 'Net Good' 요소가 변화했는지 검증하라고 합니다.
- Net Good(순 이익)은 어떤 지표, 결과가 될 수도 있고, 사용 패턴이 될 수도 있습니다. 알고리즘을 쓰는 이유는 결국 고객의 이익이기 때문에, 이해할 수 없는 알고리즘 작동 방식보다 그 효과를 가지고 의사결정하는 것이 합리적입니다.

4. 알고리즘 실험 의도의 투명화
- 알고리즘을 실험한 후 채택 여부를 사내 공유하고 피드백을 받는 상황에서는, 결정 의도를 밝히는 것이 중요합니다.
- 공통된 목표, 이를 달성하기 위한 각 개별 실험의 목적과 결과 등이 공유 정보에 포함됩니다.

5. 알고리즘 실험 결과의 투명화
- 실험 의도의 투명화는 알고리즘 채택 여부 결정에 대한 근거를 제공하지만, 회사 밖의 제품 고객이 알고리즘의 결과를 이해하는데 도움을 주지 않습니다. 실험 데이터 자체의 공개를 고려해야 합니다.
- 민감할 수 있는 개인 정보를 최대한 감추면서, 개별 실험 데이터의 효과를 밝힐 수 있는 방식을 써야합니다.
- 신뢰할 수 있는 알고리즘 감시자에게만 공개하고, 사용자를 집단화하여 개인 특정을 불가능하게 하고, 고객이 직접 데이터 공개 여부를 설정할 수 있도록 합니다.

알고리즘 투명화의 노력은 더 많은 의사결정 방법의 제안과 고객의 납득이라는 결과를 만들 것입니다.

게시 멤버

슉슉이

댓글 0

눈으로 읽고 끝내지 마세요. 인사이트에 대한 생각을 공유해주세요!