지식 증류, knowledge Distillation 대형 AI 모델서 데이터 뽑아 학습 중국 스타트업 딥시크가 전 세계 테크 업계에 충격을 줬다. 오픈AI가 인공지능(AI) 모델 개발에 1억달러(약 1460억원)를 투입하는 등 미국 빅테크들이 천문학적인 비용을 투자하는 동안 557만달러(약 81억원)만으로 오픈AI에 버금가는 AI 모델을 만들어냈기 때문이다. 아직 딥시크 개발비 논란은 해소되지 않았지만, 미국의 최첨단 AI 반도체 칩 사용이 제한된 중국의 3년 차 스타트업이 만들어낸 AI가 빅테크의 AI를 일부 압도하는 모습을 보이고 있는 것은 사실이다. 그러다 보니 딥시크가 어떻게 AI 모델을 개발해 냈는지에 관심이 쏠리고 있다. 전문가들은 질문이 들어오면 특정 영역만 활성화해 답하는 ‘전문가 혼..