웹 아카이빙 종사자의 당부: 좋아하는 사이트는 직접 백업하라, teapuppies.com은 도박 광고 도메인이 됐다

완전 공감함. 내 북마크도 몇 년만 지나면 404나 도메인 파킹 페이지가 되더라. 아카이브에도 없는 게 많고. ArchiveWeb 확장은 캡처하면서 원하는 페이지랑 요소만 골라 담는 게 좋아 보임. 간단한 건 SingleFile로 한 파일에 다 담고, 제대로 할 거면 ArchiveBox 몇 년째 잘 쓰는 중임.

나도 ArchiveBox 몇 년 썼는데 요즘은 큐에 실패한 페이지가 쌓여 있음. 몇 버전째 새로 들어온 게 없어서 고민하다가 그냥 웹 클리퍼로 가는 게 낫겠다는 생각 중임. SPA 페이지는 어차피 잘 안 담기니까 페이지가 아니라 내용 자체에 집중하는 게 맞는 듯.

ArchiveBox는 내 브라우저에서 캡처한 걸 셀프호스팅 인스턴스에 올리는 옵션이 없어서 짜증남. 요즘 사이트들이 Cloudflare로 AI 크롤러를 막으니 서버 사이드 캡처는 거의 불가능해짐.

SingleFile 진짜 좋음. 내가 만지는 설정은 스크립트 저장할지 말지 정도인데 90% 넘는 페이지가 잘 됨. 결과가 파일 하나라 폴더 구조 신경 쓸 필요도 없고, 원본 캡처만 되면 나중에 깨질 일도 거의 없음.

나도 ArchiveBox 오래 썼고 좋은데 셀프호스팅 유지보수가 슬슬 짜증남. 링크 로트가 너무 싫어서 더 못한 버전을 직접 만들어 봤음(memoryhole.app). 사람들이 아카이빙이 얼마나 쉬운지 알면 SingleFile이든 뭐든 계속 하게 될 거라고 봄.

Linkding에 SingleFile 물려서 중요한 페이지는 북마크하면서 바로 아카이빙하고 있음. 추천함.

북마크 평균 수명이 5년이래. 내 북마크 파일은 20년 된 것까지 섞인 무덤임. 퍼블리셔 입장에서도 Netlify, Vercel 같은 데 올라간 새 사이트는 아예 링크를 안 함.

ArchiveBox는 안 써봤는데 karakeep이 잘 맞음. 서버 쪽 파싱이 실패하면 브라우저에서 SingleFile로 담아서 인스턴스로 넘김.

요즘 hister 쓰기 시작했는데 읽은 걸 전부 인덱싱해두고 LLM으로 어렴풋이 기억나는 조각을 찾을 수 있음.

맥에서는 내가 만든 HEAP이라는 앱을 쓰는데 메뉴바 버튼에서 우클릭 한 번으로 전체 페이지 이미지, PDF, 마크다운, HTML, webarchive로 로컬 저장됨. 내가 만든 사람임.

buthowdoitknow.com이 사라지면서 시각적 에뮬레이터까지 같이 사라진 게 인생의 큰 비극이었음. LLM으로 재구성하고 오히려 개선해서 지금은 직접 호스팅 중임.

여름에 좋아하는 블로그 몇 개 이걸 하려고 했는데 정적 콘텐츠는 wget으로 충분하더라.

2000년대 초 내 옛 사이트를 웹 아카이브에서 며칠 뒤져봤음. 기억이 이렇게 나쁠 줄 몰랐는데 찾은 것들은 되살아나는 기분이었음. 옛 인터넷이 낫다는 게 착각이 아니라 확신이 됨. 중앙집중된 대기업 없이 너드들이 만든 사이트가 곳곳에 널려 있었음.

5년 뒤엔 클라우드 LLM이 정보원으로서 열린 인터넷을 상당 부분 대체할지도 모름. 중앙에서 과거를 고쳐 쓸 수 있으니까 중요한 사이트는 꼭 아카이빙하고 책도 사서 잘 보관하자. 코딩 에이전트 덕에 아카이빙이 훨씬 쉬워진 건 아이러니임.

그건 좀 과장 아님? LLM이 과거를 다시 쓰려고 하겠어?

hister는 개인 웹 히스토리 검색엔진인데 브라우저 확장으로 페이지 내용을 내 인스턴스에 저장해서 검색함. 이미지는 안 담아서 텍스트 위주면 잘 맞고, HN 댓글 페이지 같은 것까지 저장되는 건 좀 과할 때도 있음.

마지막 진실의 원천은 포럼임. 레딧 말고 옛날 BMW 동호회나 SV650 카페 같은 데. CEO가 있으면 썩기 마련인데 그런 곳엔 사람 얘기랑 도움 주고받은 기록이 남아 있음.