Мем про плохое умножение ChatGPT

Изображение представляет собой скриншот из социальной сети X (бывший Twitter). На скриншоте виден пост пользователя Hegelian Ebike с текстом и ответ на него пользователя Yuntian Deng. Пользователь Hegelian Ebike пишет о том, как его раздражают разработчики систем, которые жалуются на раздутое и сложное современное программное обеспечение, в то время как люди разворачивают целые центры обработки данных для выполнения задач, которые можно сделать одной инструкцией x86. Пользователь Yuntian Deng отвечает на этот пост, задавая вопрос, является ли OpenAI's o1 хорошим калькулятором. Далее он пишет, что они тестировали его на умножении до 20х20, и o1 решает умножение 9х9 с приличной точностью, в то время как gpt-4o испытывает трудности после 4х4. Ниже прикреплены две таблицы с тепловыми картами, демонстрирующими точность o1-mini и gpt-4o-2024-08-06 при умножении чисел. Таблицы показывают, что по мере увеличения множителей (числа цифр в числах, которые умножаются) точность обеих моделей значительно падает, особенно у gpt-4o, которая показывает 0% точности при умножении чисел с большим количеством знаков. Таблицы градиентные: чем выше точность, тем зеленее ячейка, чем ниже точность, тем краснее ячейка. В целом, мем высмеивает сложность и неэффективность современных больших языковых моделей (LLM) и софта, в сравнении с простыми и эффективными решениями, которые могут выполнять те же или схожие задачи.

I did not sit through years and years of smug systems devs bemoaning that modern software is too bloated and complex and layered to watch people deploy entire data centres to perform something you can do with a single x86 instruction. Is OpenAI's o1 a good calculator? We tested it on up to 20x20 multiplication—o1 solves up to 9x9 multiplication with decent accuracy, while gpt-4o struggles beyond 4x4. For context, this task is solvable by a small LM using implicit. Accuracy of o1-mini. Digits in number 1. Digits in number 2. Accuracy (%). Accuracy of gpt-4o-2024-08-06. Digits in number 1. Digits in number 2.