Что это
Идеальной памяти не бывает: быстрая — дорогая и маленькая, большая — медленная. Поэтому компьютер хранит данные как ты хранишь вещи: то, что нужно прямо сейчас, — в руках, нужное часто — в рюкзаке, остальное — в шкафу дома, а старые вещи — на даче. Это и есть лестница памяти.
Зачем это нужно
В дата-центрах для ИИ главная проблема часто не в скорости вычислений, а в том, чтобы успевать подвозить данные к чипам: поэтому видеокарты для нейросетей оснащают особой сверхбыстрой памятью. Игры, браузеры, беспилотные автомобили и облачные сервисы работают быстро только тогда, когда нужные данные лежат на правильном уровне. ИИ может посоветовать настройку, но спроектировать систему так, чтобы она не простаивала в ожидании данных, и проверить это измерениями — работа инженера. Кто понимает иерархию памяти, тот умеет делать программы и сервисы в разы быстрее.
Как это работает
Лестница идёт от регистров внутри процессора к кэшу на том же кристалле, затем к оперативной памяти, к твердотельному накопителю и, наконец, к облаку — чужим дискам, до которых данные идут по сети. Разница огромная: если обращение к кэшу длилось бы секунду, то к оперативной памяти — почти две минуты, к накопителю — больше суток, а к серверу в интернете — около полутора лет. Регистры, кэш и оперативная память при выключении всё забывают, а накопитель и облако хранят данные годами. Кэш выручает, потому что программы снова и снова обращаются к одним и тем же и соседним данным, и если почти все обращения попадают в кэш, вся память кажется быстрой.
Немного истории
Идею маленькой быстрой памяти, которая держит копии самых нужных данных из большой медленной, в 1965 году описал британский учёный Морис Уилкс, один из создателей первых компьютеров. Он называл её «подчинённой памятью». Через несколько лет кэш появился в больших коммерческих машинах, а сегодня он есть в каждом телефоне.
Формула: время работы
Каждое обращение к памяти занимает время, которое зависит от уровня, где лежат данные. Если к одним данным обращаются миллиард раз, даже маленькая задержка, умноженная на миллиард, становится огромной. Поэтому время работы программы примерно равно сумме произведений: число обращений к каждому набору данных умножить на задержку того уровня, где он лежит. Здесь эн — число обращений, просто количество, а тэ — задержка одного обращения в наносекундах, микросекундах или миллисекундах. Если увеличить число обращений к данным, которые лежат далеко, общее время вырастет сильнее всего, — поэтому самые частые данные выгодно держать на самых быстрых уровнях.
T ≈ N₁·t₁ + N₂·t₂ + … + N₆·t₆T — время работы программы, с
N — число обращений к набору данных, —
t — задержка уровня памяти, где лежит набор, нс, мкс, мс
Что будем делать на практике
А теперь давай попробуем выполнить практическое задание. Перед тобой лестница памяти: регистры, кэш, оперативная память, накопитель и облако — у каждой ступени указаны задержка, сколько на ней мест и сколько данных она вмещает. Рядом шесть карточек с данными: счётчик цикла, фрагмент фото в обработке, уровень игры, открытые вкладки браузера, фотоархив за пять лет и фильмотека — у каждой подписаны размер и число обращений. Разложи их по ступеням так, чтобы программа работала быстрее всего. Для каждой карточки прикинь вклад: число обращений умножить на задержку, — и помни, что данные должны влезть по размеру, а мест на быстрых ступенях мало. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.