本發(fā)明公開(kāi)了一種基于交替適應(yīng)動(dòng)量?jī)?yōu)化的模型訓(xùn)練方法及系統(tǒng),解決了現(xiàn)有的基于自適應(yīng)優(yōu)化算法的模型訓(xùn)練方法導(dǎo)致大規(guī)模矩陣優(yōu)化的內(nèi)存效率低下,無(wú)法支持更大規(guī)模模型的訓(xùn)練的技術(shù)問(wèn)題。方法包括獲取初始模型參數(shù)并標(biāo)記為葉子節(jié)點(diǎn),構(gòu)建用于存儲(chǔ)一階動(dòng)量...