Сначала измерьте, потом исправьте реальную причину — не разбрасывайте useMemo где попало на угадку.
Почему это важно
Используйте React DevTools Profiler (включите "Highlight updates when components render"). Он показывает, какие компоненты были перерисованы и почему (изменились props, изменилось state, перерисовался родитель, изменился context).
