Stop doing sparse attention

На изображении представлен мем, критикующий использование "разреженного внимания" (sparse attention) в моделях машинного обучения. Текст сверху гласит: "Stop doing sparse attention" (Прекратите использовать разреженное внимание), а ниже перечислены пункты, объясняющие, почему это плохо: токены не должны иметь встраиваний, если они не нужны, за годы языкового моделирования не было найдено реального применения токенам без оценок внимания, для экономии FLOPs есть "оптимизация промптов", и цитируются абсурдные заявления исследователей. Ниже представлены три схемы, которые, как утверждается, являются "реальными паттернами внимания, сделанными реальными исследователями ML", с подписями "?????", "?????????" и "????????????????". Внизу крупными буквами написано: "Hello, I would like to skip the needle in the haystack" (Здравствуйте, я хотел бы пропустить иголку в стоге сена), а затем "They have played us for absolute fools" (Они выставили нас полными дураками).

Stop doing sparse attention. Tokens were never supposed to have embeddings if they aren't needed. Years of language modeling, yet no real-world use found for tokens without attention scores. Wanted to save flops? We have a tool for that called "prompt optimization". "Yes please give me attention scores for my next token based on pure luck" - Statements dreamed up by the utterly deranged. Look at what ML researchers have been demanding your Respect for all this time, with all the knowledge we've figured out for them. These are REAL attention patterns, made by REAL ML researchers. ????? ??????????? ?????????????????. "Hello, I would like to skip the needle in the haystack!". They have played us for absolute fools.