目前所接触到的主要是 in-context learning,意义是:
在不进行 finetune 的情况下,通过上下文学习到内容,简单的来说:
- 常规的 learning 算最小二乘通过数据来反向传播调整参数
- in-context learning 通过训练大规模的神经网络,使得神经网络可以通过一系列最小二乘的数据意识到”这是在做最小二乘“,并成功解决一系列最小二乘问题,整个过程的输入是“成功的最小二乘,以及一个只有数据的最小二乘“,输出是“最小二乘的结果”。
gr 觉得这个题目目前还 under exploration,暂时太监了(