← Back to feed
Papers·6일 전

학습률 상한을 공식으로 계산 — KL 기하에서 admissible step 유도

학습률 상한을 공식으로 계산 — KL 기하에서 admissible step 유도

논문은 학습률 스텝을 단순 하이퍼파라미터가 아니라, 확률 단순체 위에서의 사영된 전진 스텝으로 모델링합니다. 이때 admissible step의 상한이 자연스러운 KL/Bregman 기하에서의 수축성 조건으로부터 공식적으로 유도된다는 점이 핵심입니다. 특정 벤치마크 수치는 제시되지 않았지만, 이론적 프레임워크로서 학습률 튜닝을 수식으로 대체할 가능성을 보여줍니다. 단, 실험 검증이나 실제 학습 속도 개선 폭은 아직 보고되지 않았습니다.

  • #learning-rate
  • #optimization
  • #geometry
  • #theory
Zixi Li

Comments

— 첫 댓글을 남겨보세요 —