웨이브(Wavve)의 끊김 장애는 언제쯤 사라질까? 원인은..?

 

1월 27일 저녁, 보던 드라마를 이어서 보려서 Wavve를 켜고 플레이를 누르니 .. 플레이가 안된다. 뭐지?  네트워크 장애인가? 하고 살펴보니 네트워크는 정상. 최신 영상을 틀어보니 정상.. 넷플릭스로 다른걸 보다가 다음날 다시 해보니 또 안된다. 뭐야 하며 짜증내며, 공지 사항에 뭐 없나 하고 보니 공지사항이 있다.

 

두둥..

 

그리고 1주일 하고도 이틀이 지난 오늘까지도 저 장애는 해결이 안됐다. 심지어 그 사이에 뽀로로 사이에 성인물이 나오는 기염을 토했고, 오늘 공지를 보면 일부 해결 됐다 라고 올려두었지만, 내가 보던 드라마는 아직도 안된다.

 

 

 

뭐가 문제였을까 생각해보자. 

 

대략 언론에 알려진, 그리고 사람들의 이야기와 공지사항, 1:1 고객센터의 답을 조합해보면 이렇게 정리된다.

 

27일 새벽을 기점으로 약 1개월 이전의 VOD가 대량으로 플레이 불가능한 상황이고, 중간에 뽀로로에 성인물이 나왔다. 따라서 유료 고객님들은 1개월 이내의 VOD를 보며 버텨 달라.

 

 

이런 답을 기준으로 생각해보면 어떤 이유에서인지, (개인적으로는 99.99% 인재) 새벽 6시 20분에 1개월 이전 VOD를 우르르 날려 먹었다! 부분적일 수도 있고, 전부 일 수도 있다.

 

보통, 이런 서비스의 경우 CDN을 이용해서 데이터를 보관 중이니, 이것은 일부 서버의 장애로 생길 수 있는 문제가 아니다. 그리고 웨이브(Wavve)에서 MS Azure 문제라고 이야기를 흘리는 것 같은데, 이것도 믿음이 가지 않는다. Azure에서 저런 대규모 장애가 발생 했으면, Azure를 쓰는 온갖 서비스들이 전부 난리가 났을 거다. 더군다나 CDN Azure Storage에서 저런 장애가 발생 했으면 웨이브가 아니라 글로벌 이슈 였을거다. 

 

따라서 타당한 추측은, 누군가의 실수로 1개월 이전의 VOD를 몽-땅 다 날려먹었다. 그리고 지금 Wavve는 정말 급하게 모든 VOD를 재 인코딩 하고 있다! 가용 할 수 있는 모든 컴퓨팅 파워를 동원해서 동시에 인코딩 하고 있을 것 같다.

 

그리고 저런 동영상 서비스의 구조를 알 수는 없지만, 추측 해보면 한개의 영상을 하나의 덩어리로 보관 하고 있는 것 같지 않다. 세분화 해서 여러 조각으로 분리 해서 여러 서버에 분산 보관하고 있을 것 같다. 

 

동시에 인코딩을 하고 있어서, 이게 경우에 따라서는 꼬일 수도 있을 것 같다. 설계 자체를 잘 해서, 항상 유니크한 값으로만 나오게 하면 모르겠지만, 혹시라도 부분적으로 곂치는 파일명이나 인덱스가 나오면.. 엉뚱한 영화나, 영상이 영상 한가운데 나올수도 있을 것 같다. 뽀로로에서 성인 영화가 나왔던 것도 이런 이유이 아닐까.

 

아무튼, 하루 이틀이면 끝날 것 같았던 이 장애는 최소 2주는 걸릴 것 같다고 한다. 하지만, 솔직히 과거의 모든 영상을 한번에 재 작업 하고 있을거라고 생각하면 2주 안에 끝날 거라고 생각되지 않는다.

 

그리고 보상이라고 내놓는게, 어디에 써야 할지도 모르는 코인이라는걸 준다고 하는걸 보니.. 매우 당황스럽다.

 

넷플릭스하고 비교 할 수 밖에 없는 것 같다. 그냥 VOD 로 끝나지 않고, 끊임 없이 엔지니어를 충원하고 기술 집약적으로 서비스를 운영하는 넷플릭스와 지금의 웨이브. 웹/모바일/스마트TV에서의 기능 조차도 동일성을 유지 못하고, 메이저급 장애가 계속 발생하는 웨이브. 

 

이 순간 제일 불쌍한건 이 모든걸 최전선에서 챙기고 있을, 웨이브 고객센터 직원들 일 것 같다.

 

이 둘은 비교 대상이 될 수도 없는 것 같다.