Подсчет статистики в консоли

Часто нужно посчитать в консоли статистику имея последовательность чисел, например, request_time из access-логов. Выгружать ее куда-то (в IPython, R и т.п.) можно, но это обычно слишком неудобно. Спешу поделиться инструментом, решающим проблему.

Встречайте, GNU DataMash: https://www.gnu.org/software/datamash/!
Уже есть в репозиториях Fedora, Ubuntu, etc. Нет зависимостей и всего 350кбайт!

grep -o -P '(?<=request_time=)[\d.]+' access.log \
  | datamash --header-out mean 1 perc:95 1 perc:97 1 perc:99

И получаем вот такой результат.

mean(field-1)  perc:95(field-1)  perc:97(field-1)  perc:99(field-1)
52,06          25,00             57,85             108,64

Leave a Reply

Your email address will not be published.