У нас вы можете посмотреть бесплатно 给大模型无限上下文 или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
上下文长度是大模型要跨过的第一道槛。 长度太短,就无法开启很多领域的应用,比如医疗GPT。想象一下,医患20轮对话之后,医生就不记得病人的基本情况了,这怎么搞? 所以,上下文长度约等于大模型的内存,是衡量大模型能力的基本指标之一。 但是要提升大模型的上下文长度,难度很高。 一是训练方面,需要更高的算力和显存,还需要更多的长序列数据。 二是推理方面,Transformer模型的自注意力机制(Self-Attention)要求对序列中的每个元素去计算它与其它元素的相关性。这种机制天然决定了上下文长度不可能太长。于是大家又提出了一系列处理长序列的解决方案,这是另一个超大话题,此处不展开。 MemGPT找到了一个天才解法。 视频号:黄益贺 YouTube:huangyihe 公众号:newtype 超级个体 本期视频中有两段素材,分别来自YouTube Channel:bit-Machine,Branch Education BGM from Musicbed: When the Dust Settles (No Oohs & Ahhs) - Instrumental