编译 | 陈骏达 编辑 | 云鹏 智东西11月11日报道，今天凌晨，月之暗面核心团队在社交媒体平台Reddit上举行了一场有问必答（AMA）活动，月之暗面联合创始人兼CEO杨植麟等人在Kimi K2 … Continue reading 罕见！月之暗面杨植麟、周昕宇、吴育昕回应一切：打假460万美元、调侃OpenAI
标签： 优化器
估值840亿AI实验室再放大招，他们要给大模型戴上“紧箍咒”
新智元报道 编辑：元宇 【新智元导读】在大模型训练时，如何管理权重、避免数值爆炸与丢失？Thinking Machines Lab 的新研究「模块流形」提出了一种新范式，它将传统「救火式」的数值修正， … Continue reading 估值840亿AI实验室再放大招，他们要给大模型戴上“紧箍咒”
Adam优化器再次改进 北大孙栩课题组提出
Adam作为一种快速收敛的优化器被广泛采用，但是它较差的收敛性限制了使用范围，为了保证更优的结果，很多情况下我们还在使用SGD。 但SGD较慢的收敛速度也令人头疼，所以人们一直在研究进一步优化Adam … Continue reading Adam优化器再次改进 北大孙栩课题组提出
