Куда уходит время запроса
Запрос редко проводит всё своё время в одном месте. Он ждёт соединения, место в очереди, ответ базы данных и соседних сервисов. Начинать оптимизацию полезно с карты этого пути.
Разложить путь
Зафиксируйте границы измерения: от действия пользователя до результата или от приёма HTTP-запроса до ответа. Затем разделите время на ожидание соединения, очередь, вычисление и обращения к зависимостям. Время клиента и сервера может различаться: сеть и повторные попытки тоже входят в пользовательскую задержку.
Смотреть на распределение
Среднее скрывает медленные запросы. Сопоставляйте медиану с p95 и p99, количеством запросов и ошибками. p99 — значение, ниже которого укладывается примерно 99% наблюдений в выбранном интервале. Сравнение имеет смысл при сопоставимых нагрузке, типах запросов и окне измерения.
Проверить ожидание
Рост задержки не обязательно означает нехватку CPU. Запрос может ждать пул соединений, диск или блокировку. Проверьте загрузку ресурсов, насыщение и ошибки; трассировка поможет связать задержку с конкретным участком. Меняйте один фактор и повторяйте измерение.