데이터 과학에서 가장 강력한 분석 기법은 기본적인 세기 작업이며, 이는 매우 단순하면서도 많은 경우에 과소평가되어 왔습니다.
Hamel Husain & Shreya ShankarWhy AI evals are the hottest new skill for product builders
기술 → 분석적 감각
데이터 과학에서 가장 강력한 분석 기법은 기본적인 세기 작업이며, 이는 매우 단순하면서도 많은 경우에 과소평가되어 왔습니다.
신호, 노이즈가 아닙니다. 그래서 일반적으로 사람들을 고용할 때 똑똑한 사람을 고용하고 그들을 자유롭게 일하게 합니다. 하지만 제가 가장 중요하게 생각하는 것은 데이터를 다루는 사고 과정입니다.
이는 기존의 데이터 과학 방식과 비교되며, AI 제품 평가 시 표준 데이터 분석이 아닌 특별한 방법이 필요하다는 혼란을 언급하고 있습니다.
이것이 바로 데이터 과학이며, 이 때문에 사람들이 혼란스러워하는 것 같습니다. '데이터 과학 사고가 필요하다'고 하지만, AI 제품에서도 이런 사고가 도움이 된다는 것이 제 의견입니다.
AI 판단 시스템이 사람의 평가와 얼마나 일치하는지 측정하는 것을 말하고 있습니다.
많은 사람들이 이 평가 점수에 집착합니다. '사람과 AI 판단이 몇 퍼센트 일치하는가'라고 말이죠. 이것은 매력적으로 들리지만 매우 위험한 지표입니다. 왜냐하면 대부분의 오류는 드문 사례에서 발생하기 때문입니다.