Triple-Phase Transition: 脳との関係から捉える大規模言語モデルの学習ダイナミクス
Abstract
大規模言語モデル（LLMs）の学習時，ある能力を学習過程で突然獲得する現象が知られている．このようなLLMsの変化は相転移（PhaseTransition）現象と呼ばれ，その原因としてLLMsの内部状態における相転移が示唆されているが，その実態は未解明の点が多い．本研究で我々はLLMsの相転移についてLLMsの内部表現とヒト脳活動を対比させることにより解釈することを試みる．具体的には，学習過程における，LLMsと脳の類似度，LLMsの内部状態，下流タスク精度の変化という3つの観点を統合した解析を行い，LLMsの学習ダイナミクスに新たな解釈を与える．我々は，LLMsが下流タスクの能力を獲得する過程で，脳との対応や内部状態に3段階の相転移が起きることを示す．
Type
