Our blessed post-training vs distillation attack

На иллюстрации в стиле карты двух враждующих берегов показано противостояние методов обучения ИИ. Слева находится «наша благословенная посттренировка»: небольшой SFT-бустрэп, траектории, созданные учителем, и роллауты с оценкой модели. Справа — «их варварская атака дистилляцией»: извлечение возможностей промышленного масштаба, извлечение reasoning-трасс и захваченный оракул награды. Две стороны разделены водой, а их подходы представлены замками, башнями и кораблями с флагами. Мем иронично изображает конкуренцию между традиционной посттренировкой и дистилляцией знаний в современных языковых моделях.

Our blessed post-training Our small SFT bootstrap Our teacher-generated trajectories Our model-graded rollouts Their barbarous distillation attack Their industrial-scale capability extraction Their reasoning-trace extraction Their hijacked reward oracle Tom Gauld