Long Context

长上下文 · 从“为什么上下文越长越难”出发，讲位置编码与旋转位置编码、训练短测试长的外推问题、ALiBi、位置插值与 NTK / YaRN 扩展、长上下文训练、“迷失在中间”、大海捞针与长上下文评估，以及系统层面的方法。