공사 먼지가 연기 경보 울리자 냉방 꺼진 제인스트리트 뉴욕 데이터센터, 스프링클러 터지기 전에 전원 케이블부터 뽑음
- 제인스트리트의 뉴욕 유일 데이터센터 옆 예비실 공사 중 날린 먼지가 연기 감지기를 오작동시켰고, 감지기는 화재 확산을 막으려고 CRAC 냉방 유닛을 자동으로 정지시킴
- 스프링클러는 연기만으로 물을 뿌리지 않음. 연기 감지 시 배관에 물을 가압해 둔 상태에서 각 헤드의 열감지 플러그가 열을 받아 열려야 분사되므로, 냉방이 꺼져 서버실 온도가 오르면 분사 조건이 갖춰짐
- 데이터센터는 1 New York Plaza 사무동 한가운데에 온라인 UPS, CRAC, 냉장고 크기 네트워크 스위치, 지하 디젤 발전기, 10열 x 10단 서버 캐비닛으로 꾸려져 있었고, 트레이딩 플로어와 가까이 둬야 한다는 방침 때문에 이전이 늦어짐
- 저자는 사무실에서 걸어서 9분 거리인 200제곱피트 원룸에 살았고 그 사실을 자랑하고 다닌 탓에, 퇴근 직후 홍콩 사무소에서 온 전화를 받고 현장에 가장 먼저 도착하는 역할을 맡음
- 전원 케이블을 직접 뽑는 최후 수단을 남겨두는 위험 관리 방식은 핵잠수함 근무 출신 파트너에게서 온 것으로, 자동화를 믿기보다 기계식 레버를 확보하려는 태도였음
Hacker News 의견들
나도 똑같이 당했음. 집이 걸어서 몇 분 거리라고 회사에 자랑하고 다녔더니, 휴일 주말에 보안팀이 익스플로잇 공개 첩보를 받았다고 급하게 서버 끄러 들어오라는 전화를 받음. 다른 사람들은 다 페리나 통근열차 타고 사는데 나만 불려나갔음.
그래서 급여 인상은 요구했냐?
데이터센터에 스프링클러를 달아놨다는 게 제일 의외네. 원래는 할론가스 같은 걸 쓰지 않나.
우리가 지은 다른 데이터센터엔 다 있었음. 솔직히 무서웠다. 이 건물은 왜 스프링클러를 유지해야 했는지 기억이 안 남.
CO2도 쓰는데, 사람이 안에 있으면 그건 목숨 거는 문제임.
할론이나 CO2가 터지면 하드디스크가 음압 때문에 망가짐. 소방 설비랑 데이터센터는 원래 안 맞음.
사람 있는 층엔 못 쓰지.
아마 건물 코드나 관리 쪽에서 할론 설비 개조 허가를 안 내줬을 듯.
뉴욕에 데이터센터가 하나뿐이라는 게 말이 되나? 33 Thomas St는 창문 없는 통짜 데이터센터인데.
제인스트리트가 뉴욕에 가진 유일한 데이터센터라는 뜻임. 뉴욕 전체에 하나라는 소리가 아님.
헤드라인이 헷갈리게 써놨네. 제인스트리트의 뉴욕 유일 DC라는 뜻임.
허리케인 샌디 때 뉴욕 DC들에 물이 3피트 넘게 차서 사람들이 디젤통 들고 계단으로 올라가던 거 생각나네.
디젤이 갤런당 7파운드임. 그거 들고 계단 오르는 건 진짜 초인적인데.
17층에 발전기를 왜 놔서 사람이 손으로 연료를 나르게 만들었는지가 진짜 의문임.
포그크릭 사건 보면 급유 업체 커플링이 안 맞아서 5갤런 양동이 30명이 줄 서서 탱크를 채웠다고 함. DR이 didn't realize의 약자였던 셈.
샌디 때 파이낸셜 디스트릭트 DC에서 일했는데, 연료 필터가 너무 더러워서 냉방을 전부 끄고 교체한 적 있음. 발전기가 거의 죽을 뻔했는데 어떻게 살아남았음.
그 포그크릭 이야기를 미담으로 미화하는 게 짜증남. 실패를 미담으로 만든 거임. 맨해튼에 허리케인 올 확률이 0이 아니라는 걸 인정 안 하려고 사람들이 디젤통을 17층까지 날랐던 거임.