학습이 끝난 모델을 실제 서비스에 붙이는 순간, 완전히 새로운 문제가 펼쳐집니다. 밀리초 단위 지연, 트래픽 폭증, GPU 비용. 모델 서빙 인프라는 이 세 압력을 어떻게 균형 있게 떠받칠 것인가의 문제이며, 정답은 워크로드 특성에 따라 달라집니다.운영 문제: 추론은 학습과 다른 짐승이다학습은 처리량(throughput) 싸움이지만 온라인 추론은 지연(latency) 싸움입니다. 사용자는 200ms 안에 응답을 기대하는데, 모델은 무겁고 GPU는 비쌉니다. 게다가 트래픽은...
3년 전 합류했을 때 회사에는 데이터 담당자가 한 명도 없었다. 의사결정은 임원의 직감과 엑셀 시트 몇 장으로 이뤄졌고, 같은 질문에 부서마다 다른 숫자를 내놓는 일이 흔했다. 나는 데이터 조직을 처음부터 만들어야 했고, 그 과정에서 가장 크게 깨달은 것은 “좋은 분석 도구를 도입하면 문화가 따라온다”는 생각이 완전히 틀렸다는 사실이었다. 이 글은 정답을 제시하려는 것이 아니다. 비슷한 출발선에 선 누군가가 같은 함정을 조금 덜 밟기를 바라며, 내가...
우리는 결과로 결정을 평가한다. 프로젝트가 성공하면 “역시 옳은 판단이었다”고 말하고, 실패하면 결정을 내린 사람을 탓한다. 그러나 이 직관에는 치명적인 결함이 있다. 좋은 결정도 나쁜 결과를 낳을 수 있고, 형편없는 결정도 운 좋게 성공할 수 있다. 결과만 보면 우리는 운을 실력으로 착각하고, 잘못된 행동을 학습한다. 이 글은 결정의 품질을 결과와 분리해 평가하는 사고 틀을 정리한다. 이는 포커 플레이어와 투자자들이 오래 사용해 온 개념이지만, 기술...
많은 조직이 “데이터 기반”이 되겠다고 선언하며 가장 먼저 도구를 산다. 모던 데이터 스택, 셀프서비스 BI, 노트북 환경을 갖추면 사람들이 알아서 데이터를 들여다볼 것이라 기대한다. 그러나 내가 두 회사에서 본 현실은 정반대였다. 도구는 가득했지만 회의는 여전히 “제 느낌엔”으로 시작됐다. 데이터 문화는 라이선스로 구매할 수 없다. 그것은 매일 반복되는 작은 습관과 의식의 누적이다. 이 글은 도구 도입이 아니라 행동 설계의 관점에서...
데이터 조직을 설계할 때 가장 자주 부딪히는 질문은 구조다. 분석가들을 한곳에 모아 중앙 플랫폼팀을 만들 것인가, 아니면 각 사업부에 분석가를 흩뿌리는 임베디드 모델로 갈 것인가. 양쪽 모두 강력한 옹호자가 있고, 양쪽 모두 처참한 실패 사례가 있다. 나는 두 모델을 모두 운영해 본 두 조직을 가까이서 관찰했다. 결론부터 말하면, 어떤 모델이 옳은가는 잘못된 질문이다. 옳은 질문은 “지금 우리 조직의 성숙도에 무엇이 맞는가”이다. 중앙 플랫폼 모델의 빛과...
e-wikidversity