머스크 CEO는 8일(현지시간) X(트위터)에서 진행된 마크 펜 스태그웰 회장과의 라이브 스트리밍 인터뷰를 통해 "우리는 이제 AI 훈련에서 누적된 인간 지식의 총합을 고갈시켰다"라며 "이 문제는 지난해에 발생했다"라고 말했다. 또 합성 데이터를 해결책으로 들었다. "이를 보완하는 유일한 방법은 AI가 만드는 합성 데이터"라며 "합성 데이터를 사용하면 AI가 스스로를 평가하고 자체 학습 과정을 거칠 것"이라고 설명했다. 이번 발언은 사전 훈련을 통한 모델 성능 향상이 한계에 달했다는 지적과 일치한다. 오픈AI와 구글, 앤트로픽 등은 더 많은 컴퓨팅 인프라를 투입하고도 최신 모델이 기대만큼의 성능 향상을 보이지 않은 것으로 알려졌다. 그 이유로 더 이상 쓸만한 데이터가 없다는 점이 이유로 꼽혔다. https://www.aitimes.com/news/articleView.html?idxno=167004