Изучаем команды linux: awk

1. Введение

В данном случае название статьи слегка вводит нас в заблуждение, потому что awk - это больше, чем команда. Это язык программирования со своими собственными правилами. Вы можете писать на нем скрипты для выполнения сложных операций, либо можете просто использовать из командной строки. Его название составлено из заглавных букв Aho, Weinberger и Kernighan (да, тот самый Brian Kernighan), авторов языка, история которого началась в 1977 году. Если вы учитесь или учились программированию на C, то увидите многие похожие концепции в awk. Вам понадобятся определенные знания командной оболочки Linux и, возможно, базовые навыки написания скриптов, что, впрочем, необязательно, так как мы постараемся изложить материал как можно проще. Большое спасибо Arnold Robbins за его работу над awk.

2. Для чего нужен awk?

awk - это утилита/язык для извлечения данных. Именно awk являлся источником вдохновения для Larry Wall, когда он создавал Perl. Для выполнения различных практических задач по обработке текста awk часто используется совместно с sed. В зависимости от поставленной задачи вы можете использовать либо awk, либо Perl, хотя это в большей степени зависит от личных предпочтений. Как и sed, awk читает за один раз одну строку, выполняет определенные действия в зависимости от заданных опций, и выводит результат. Одним из самых простых и популярных способов использования awk является выбор столбца из текстового файла или из вывода другой команды. Когда я устанавливал Debian на свою вторую рабочую станцию, я использовал awk для того, чтобы получить список установленных на первой машине, и скормить его aptitude. Я делал это с помощью команды вида:

$ dpkg -l | awk ' {print $2} ' > installed

В настоящее время большинство менеджеров пакетов предоставляют такую возможность, например это можно сделать с помощью команды rpm's -qa, но вывод содержит больше информации, чем мне нужно. Я вижу, что второй столбец вывода dpkg -l содержит названия установленных пакетов, поэтому я использовал вышеприведенную команду, чтобы извлечь только второй столбец.

3. Базовые концепции

Как уже говорилось, действия, выполняемые awk, заключаются в фигурные скобки, а вся команда - в одинарные кавычки: awk 'condition { action }'. В нашем примере условий нет, но если мы захотим, например, выбрать только установленные пакеты, относящиеся к vim, (да, есть grep, но ведь это пример, кроме того, зачем использовать две утилиты, если можно использовать одну), мы могли мы набрать:

$ dpkg -l | awk ' /'vim'/ {print $2} '

Эта команда выведет все установленные пакеты, содержащие "vim" в названиях. Одна из причин, по которой рекомендуется использовать awk - он быстр. Если заменить "vim" на "lib", в моей системе получится список из более чем 1300 пакетов. Встречаются ситуации, где данных намного больше, и в этих случаях awk показывает все свои преимущества. В любом случае, давайте рассмотрим примеры, которые помогут понять многие аспекты использования программы. Но перед этим будет полезно узнать, что существует несколько диалектов и реализаций awk. Примеры, приведенные в данной статье, относятся к GNU awk (так к реализации, так и к диалекту). Из-за различий в интерпретации кавычек, мы можем использовать bash, ksh или sh, но не можем использовать (t)csh.

4. Примеры

awk ' {print $1,$3} '

awk ' {print $0} '

awk ' /'pattern'/ {print $2} '

awk -f script.awk inputfile

awk ' program ' inputfile

awk "BEGIN { print \"Hello, world!!\" }"

awk '{ print }'

#! /bin/awk -f
BEGIN { print "Hello, world!" }

# This is a program that prints \
"Hello, world!"
# and exits

awk -F "" 'program' files

awk -F "regex" 'program' files

awk '{ if (length($0) > max) max = \
length($0) }
END { print max }' inputfile

awk 'length($0) > 80' inputfile

awk 'NF > 0' data

awk 'BEGIN { for (i = 1; i <= 7; i++)
print int(101 * rand()) }'

ls -l . | awk '{ x += $5 } ; END \
{ print "total bytes: " x }'
total bytes: 7449362

ls -l . | awk '{ x += $5 } ; END \
{ print "total kilobytes: " (x + \
1023)/1024 }'
total kilobytes: 7275.85

awk -F: '{ print $1 }' /etc/passwd | sort

awk 'END { print NR }' inputfile

awk 'NR % 2 == 0' data

ls -l | awk '$6 == "Nov" { sum += $5 }
END { print sum }'

awk '$1 ~/J/' inputfile

awk '$1 ~!/J/' inputfile

awk 'BEGIN { print "He said \"hi!\" \to her." }'

echo aaaabcd | awk '{ sub(/a+/, \"<A>"); print }'

awk '{ $2 = $2 - 10; print $0 }' inventory

awk '{ $6 = ($5 + $4 + $3 + $2); print \ $6' inventory

echo a b c d | awk '{ OFS = ":"; $2 = ""
> print $0; print NF }'

echo a b c d | awk '{ OFS = ":"; \
$2 = ""; $6 = "new"
> print $0; print NF }'

echo a b c d e f | awk '\
{ print "NF =", NF;
> NF = 3; print $0 }'

FS=[ ]

echo ' a b c d ' |  awk 'BEGIN { FS = \
"[ \t\n]+" }
> { print $2 }'

awk -n '/RE/{p;q;}' file.txt

awk -F\\\\ '...' inputfiles ...

BEGIN { RS = "" ; FS = "\n" }
{
print "Name is:", $1
print "Address is:", $2
print "City and State are:", $3
print ""
}

awk 'BEGIN { OFS = ";"; ORS = "\n\n" }
> { print $1, $2 }' inputfile

awk 'BEGIN {
> OFMT = "%.0f" # print numbers as \
integers (rounds)
> print 17.23, 17.54 }'

awk 'BEGIN {
> msg = "Dont Panic!"
> printf "%s\n", msg
>} '

awk '{ printf "%-10s %s\n", $1, \
$2 }' inputfile

awk '{ print $2 > "phone-list" }' \inputfile

awk '{ print $1 > "names.unsorted"
       command = "sort -r > names.sorted"
       print $1 | command }' inputfile

awk 'BEGIN { printf "%d, %d, %d\n", 011, 11, \
0x11 }'
Will print 9, 11, 17
if (/foo/ || /bar/)
   print "Found!"

awk '{ sum = $2 + $3 + $4 ; avg = sum / 3
> print $1, avg }' grades

awk '{ print "The square root of", \
$1, "is", sqrt($1) }'
2
The square root of 2 is 1.41421
7
The square root of 7 is 2.64575

awk '$1 == "start", $1 == "stop"' inputfile

awk '
> BEGIN { print "Analysis of \"foo\"" }
> /foo/ { ++n }
> END { print "\"foo\" appears", n,\
 "times." }' inputfile

echo -n "Enter search pattern: "
read pattern
awk "/$pattern/ "'{ nmatches++ }
END { print nmatches, "found" }' inputfile
Search using shell
if (x % 2 == 0)
print "x is even"
else
print "x is odd"

awk '{ i = 1
  while (i <= 3) {
    print $i
    i++
  }
}' inputfile

awk '{ for (i = 1; i <= 3; i++)
  print $i
}'

BEGIN {
if (("date" | getline date_now) <= 0) {
  print "Can't get system date" > \
"/dev/stderr"
  exit 1
}
print "current date is", date_now
close("date")
}

awk 'BEGIN {
> for (i = 0; i < ARGC; i++)
> print ARGV[i]
> }' file1 file2

for (i in frequencies)
delete frequencies[i]

foo[4] = ""
if (4 in foo)
print "This is printed, even though foo[4] \
is empty"

function ctime(ts, format)
{
  format = "%a %b %d %H:%M:%S %Z %Y"
  if (ts == 0)
  ts = systime()
  # use current time as default
  return strftime(format, ts)
}

BEGIN { _cliff_seed = 0.1 }
function cliff_rand()
{
  _cliff_seed = (100 * log(_cliff_seed)) % 1
  if (_cliff_seed < 0)
    _cliff_seed = - _cliff_seed
  return _cliff_seed
}

cat apache-anon-noadmin.log | \
awk 'function ri(n) \
{  return int(n*rand()); }  \
BEGIN { srand(); }  { if (! \
($1 in randip)) {  \
randip[$1] = sprintf("%d.%d.%d.%d", \
ri(255), ri(255)\
, ri(255), ri(255)); } \
$1 = randip[$1]; print $0  }'

5. Заключение

Как вы можете видеть, с помощью awk вы можете выполнять большое количество операций по обработке текста и множество других полезных вещей. Мы не вдавались в более сложные предметы, такие как предопределенные функции awk, но мы показали достаточно (как мы надеемся), чтобы вы запомнили, каким мощным инструментом является awk.

На нашем сайте вы можете прочитать более подробные руководства по awk:

• Machtelt Garrels, Руководство по Bash для начинающих, Глава 6: Язык программирования GNU awk
• Операционная система UNIX (руководство пользователя), awk - язык сканирования и обработки текста