뉴런 4개짜리 가상 생명체로 설명하는 강화학습, 슬라이더로 뇌 배선을 직접 바꿔본다
- 가상 생명체 spark의 뇌는 뉴런 4개뿐이고, 배선은 직선 연결, 교차 연결, drive 세 숫자로 결정되며 독자가 슬라이더를 움직여 점수 0.5 이상을 만들면 성공임.
- 학습 알고리즘은 매 시도 전 배선을 무작위로 조금 바꾸고, 이전보다 결과가 나으면 보상으로 그 방향으로 이동하고 나쁘면 반대로 이동하는 단순한 규칙임.
- 50회에 처음 움직이고 250회에 속도는 붙지만 빛을 피하며 500회에 돌진하되 멈추지 못하고, 2,000회에 빛을 따라다니며 방향을 즉시 트는 수준에 도달함.
- 배선 세 숫자를 3차원 공간으로 두면 학습 과정이 경로로 그려지고, 배선이 다른 수백 개 spark의 경로가 모두 ♥ 지점으로 수렴하되 직선이 아니라 흔들리며 수천 번이 걸리는 개체도 있음.
- 댓글에서는 인간 뇌 학습에 대한 비유인지 주장인지 불분명하다는 지적과, 알고리즘 설명으로 충분하다는 반응이 갈림.
Hacker News opinions
인간 뇌가 학습하는 방식에 비유한 건데 그게 비유일 뿐이라고 명시하지 않은 것 같음. 아니면 이게 실제로 인간 뇌 학습을 설명한다고 주장하는 건가?
이거 뇌 학습에 대한 이야기를 지어낸 거 아님? 신경학이라기보다 게임 디자인 같음. 이야기 자체는 재밌는데 뭐가 주장이고 뭐가 설정인지 경계를 그어줘야 함. 안 그러면 과학 커뮤니티에서 반발 나옴.
공유 고마움. 나는 뇌 비유는 별로 신경 안 쓰임. 알고리즘 설명으로는 좋음.
좋다! 시각화가 아주 명확하고 도움 됨. 만들어줘서 고마움.
정말 잘 만들었고 인터랙티브한 게 좋음. 공유 고맙.
인터랙티브 학습을 항상 좋아했는데 이건 좋은 예시임.