Neural networks and the problem of locking 일반적인 모델의 경우 한번에 네트워크의 시퀀스를 실행하고 gradient는 backpropahation 될 것이다. 아웃풋이 얻어진 뒤에 역전파 되면서 업데이트 되는게 일반적인데 여기서 문제가 발생하는데 전파가 일어나는동안 layer1은 계속 잠겨있다 LOCK 되어 있다는것이다. 간단한 네트워크의 경우에는 문제가 없다. 하지만 복잡하고 불규칙한 타임 스케일에서 동작하는 네트워크에서는 문제가 발생할 수 있다. 모듈이 너무 심하게 경사 역전파가 일어나기 전까지 시간을 소비할 수 있고 다루기도 힘들 수 도 있다. 우리는 그래서 인터베이스를 분리할것이다. 독립적으로 업데이트 될수 있고 locked되지 않는다. So, how can on..