[ На других языках: [English](README.md), [Español](README-es.md), [Português](README-pt.md), [中文](README-zh.md), [Русский](README-ru.md) ] # Искусство командной строки [![Вступайте в англоязычный чат проекта https://gitter.im/jlevy/the-art-of-command-line](https://badges.gitter.im/Join%20Chat.svg)](https://gitter.im/jlevy/the-art-of-command-line?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge) - [Описание](#Описание) - [Основы](#Основы) - [Ежедневное использование](#Ежедневное-использование) - [Процессинг файлов и информации](#Процессинг-файлов-и-информации) - [Системный дебаггинг](#Системный-дебаггинг) - [В одну строчку](#В-одну-строчку) - [Сложно, но полезно](#Сложно-но-полезно) - [MacOS only](#Macos-only) - [Больше информации по теме](#Больше-информации-по-теме) - [Дисклеймер](#Дисклеймер) ![curl -s 'https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md' | egrep -o '`\w+`' | tr -d '`' | cowsay -W50](cowsay.png) Продвинутому использованию командной строки зачастую не уделяют достаточного внимания, о терминале говорят, как о чём-то мистическом; на самом же деле — это умение прямо или косвенно увеличивает Вашу продуктивность в работе. Данный документ — это подборка заметок и советов, которые я нашёл для себя полезными, работая с командной строкой в Linux. Некоторые из них — простые и очевидные, но некоторые — довольно сложные и предназначены для решения конкретных задач. Это небольшая публикация, но если вы знаете обо всём, что тут написано, и можете вспомнить, как это всё использовать — вы много знаете! Многое из того, что тут написано, [изначально](http://www.quora.com/What-are-some-lesser-known-but-useful-Unix-commands) [появилось](http://www.quora.com/What-are-the-most-useful-Swiss-army-knife-one-liners-on-Unix) на [Quora](http://www.quora.com/What-are-some-time-saving-tips-that-every-Linux-user-should-know). Начав идею там — похоже, что стоит развить её на Gihub, где обитают люди, талантливее меня, и могут предлагать улучшения данной подборки. Если вы заметили ошибки (во всех вариантах перевода), пожалуйста, оставьте тикет или киньте пулл-реквест (заранее изучив описание и посмотрев на уже созданнные тикеты и пулл-реквесты). ## Описание Основное: - Данная публикация предназначена как для новичков, так и для опытных людей. Цели: *объёмность* (собрать все важные аспекты использования командной строки), *практичность* (давать конкретные примеры для самых частых юзкейсов) и *краткость* (не стоит углубляться в неочевидные вещи, о которых можно почитать в другом месте). - Этот документ написан для пользователей Linux, с единственным исключением – секцией "[MacOS only](#macos-only)". Всё остальное подходит и может быть установлено под все UNIX/MacOS системы (и даже Cygwin). - Фокусируемся на интерактивном Баше, но многие вещи также могут быть использованы с другими шеллами; и в общем применимы к Баш-скриптингу - Эта инструкция включает в себя стандартные Unix-команды и те, для которых нужно устанавливать сторонние пакеты – они настолько полезны, что стоят того, чтобы их установили. Заметки: - Для того, чтобы руководство оставалось одностраничным, вся информация вставлена прямо сюда. Вы достаточно умны для того, чтобы детальнее изучить вопрос в другом месте. Используйте `apt-get`/`yum`/`dnf`/`pacman`/`pip`/`brew` (в зависимости от вашей системы управления пакетами) для установки новых програм. - На [Explainshell](http://explainshell.com/) можно найти простое и подробное объяснение того, что такое команды, флаги, пайпы и т.д. ## Основы - Выучите основы Баша. Просто возьмите и напечатайте `man bash` в терминале и хотя бы просмотрите его; он довольно просто читается и он не очень большой. Другие шеллы тоже могут быть хороши, но Баш – мощная программа, и Баш всегда под рукой (использование *исключительно* zsh, fish и т.д., которые наверняка круто выглядят на Вашем ноуте, во многом Вас ограничивает: например, вы не сможете использовать возможности этих шеллов на уже существующем сервере). - Выучите хотя бы один консольный редактор текста. Идеально – Vim (`vi`), ведь у него нет конкурентов, когда вам нужно быстренько что-то подправить (даже если вы постоянно сидите на Emacs или какой-нибудь тяжёлой IDE, или на модном хипстерском редакторе). - Знайте как читать документацию через `man` (для любознательных – `man man`; `man` по углам документа в скобках добавляет номер, например 1 – для обычных команд, 5 – для файлов, конвенций, 8 – для административных команд). Ищите мануалы через `apropos` и помните, что некоторые команды – не бинарники, а встроенные команды Баша, и помощь по ним можно получить через `help` и `help -d`. - Узнайте о том, как перенаправлять ввод и вывод через `>` и `<` и пайпы `|`. Помните, что `>` – переписывает выходной файл, а `>>` добавляет к нему. Узнайте побольше про stdout и stderr. - Узнайте побольше про раскрытие file glob элементов `*` (а также `?` и `{`...`}`), кавычки, а также разницу между двойными `"` и одинарными `'` кавычками. (Больше о расширении переменных читайте ниже.) - Будьте знакомы с работой с процессами в Bash: `&`, **ctrl-z**, **ctrl-c**, `jobs`, `fg`, `bg`, `kill`, и т.д. - Знайте `ssh` и основы беспарольной аутентификации через `ssh-agent`, `ssh-add`, и т.д. - Основы работы с файлами: `ls` и `ls -l` (в частности, узнайте, что значит каждый столбец в `ls -l`), `less`, `head`, `tail` и `tail -f` (или даже лучше – `less +F`), `ln` и `ln -s` (узнайте разницу между символьными ссылками и жёсткими ссылками, и почему жёсткие ссылки лучше), `chown`, `chmod`, `du` (для быстрой сводки по использованию диска: `du -hk *`). Для менеджмента файловой системы, `df`, `mount`, `fdisk`, `mkfs`, `lsblk`. - Основы работы с сетью: `ip` или `ifconfig`, `dig`. - Хорошо знайте регулярные выражения и разные флаги к `grep`/`egrep`. Такие флаги, как `-i`, `-o`, `-A`, и `-B` – стоит знать. - Обучитесь использованию системами управления пакетами `apt-get`, `yum`, `dnf` или `pacman` (в зависимости от дистрибутива). Знайте, как искать и устанавливать пакеты и обязательно имейте установленым `pip` для установки командных утилит, написаных на Python (некоторые из тех, что вы найдёте ниже, легче всего установить через `pip`). ## Ежедневное использование - Используйте **tab** в Баше для автодополнения аргументов к командам и **ctrl-r** для поиска по истории командной строки - Используйте **ctrl-w** в Баше для того, чтобы удалить последнее слово в команде; **ctrl-u** – чтобы удалить команду полностью. Используйте **alt-b** и **alt-f** для того, чтобы бегать между словами команды, **ctrl-k** – чтобы удалить символы от курсора до конца строки, **ctrl-l** – чтобы очистить экран. Взгляните на `man readline`, чтобы узнать о всех клавиатурных сокращениях Баша. [Их много](http://ss64.com/bash/syntax-keyboard.html)! Например, **alt-.** вставляет последний аргумент предыдущей команды, а **ctrl-x *** [разворачивает глоб](http://superuser.com/questions/215950/how-to-expand-on-bash-command-line). - Если Вам нравятся шорткаты Вима, сделайте `set -o vi`. - Чтобы посмотреть историю, введите `history`. Также существует множество аббревиатур, например, `!$` – последний аргумент, `!!` – последняя команда, хотя эти аббревиатуры часто заменяются шорткатами **ctrl-r** и **alt-.**. - Перейти к последней рабочей директории – `cd -` - Если вы написали команду наполовину и вдруг передумали, нажмите **alt-#**, чтобы добавить `#` к началу, и отправьте команду как комментарий. Потом вы сможете вернуться к ней по истории. - Не забывайте использовать `xargs` (или `parallel`). Это очень мощная штука. Обратите внимание, что вы можете контролировать количество команд на каждую строку и их параллельность. Если вы не уверены, что делаете всё правильно, начните с `xargs echo`. Ещё `-I{}` – полезная штука. Примеры: ```bash find . -name '*.py' | xargs grep some_function cat hosts | xargs -I{} ssh root@{} hostname ``` - `pstree -p` – полезный тип вывода дерева процессов. - Используйте `pgrep` или `pkill`, чтобы находить/отсылать сигналы к процессам по имени (помогает `-f`). - Знайте разные сигналы, которые можно отсылать процессам. Например, чтобы приостановить процесс, используйте `kill -STOP [pid]`. Для полного списка посмотрите `man 7 signal`. - Используйте `nohup` или `disown`, чтобы процесс в фоне выполнялся бесконечно. - Узнайте, какие процессы слушают порты через `netstat -lntp` или `ss -plat` (для TCP; добавьте `-u` для UDP). - Используйте `lsof` для того, чтобы посмотреть открытые сокеты и файлы. - Используйте `alias`, чтобы поименовать частоиспользуемые команды. Например, `alias ll='ls -latr'` создаст новое сокращение `ll`. - В Баш-скриптах используйте `set -x`, чтобы отлаживать вывод. Используйте строгие режимы везде, где возможно. Используйте `set -e` для того, чтобы прекращать выполнение при ошибках. Используйте `set -o pipefail`, чтобы строго относиться к ошибкам (это более глубокая тема). Для более сложных скриптов выбирайте `trap`. - В Баш-скриптах под-оболочки (subshells) – удобный способ группировать команды. Один из самых распространённых примеров – временно перейти в другой рабочий каталог: ```bash # do something in current dir (cd /some/other/dir && other-command) # continue in original dir ``` - В Баше много типов пространств имён. Проверить, существует ли переменная – `${name:?error message}`. Например, если Баш-скрипту нужен всего один аргумент, просто напишите `input_file=${1:?usage: $0 input_file}`. Арифметическая область видимости: `i=$(( (i + 1) % 5 ))`. Последовательности: `{1..10}`. Обрезка строк: `${var%suffix}` и `${var#prefix}`. Например, если `var=foo.pdf`, тогда `echo ${var%.pdf}.txt` выведет `foo.txt`. - Вывод любой команды можно сохранить в файлоподобный контекст по `<(some command)`. Например, сравнение локального файла `/etc/hosts с удалённым: ```sh diff /etc/hosts <(ssh somehost cat /etc/hosts) ``` - Знайте про *heredoc*-синтаксис в Баше, работает он так: `cat <logfile 2>&1`. Зачастую, для того, чтобы убедиться, что команда не оставит открытым файл, привязав его к открытому терминалу, считается хорошей практикой добавлять `; ::Any-NFC; ' < input.txt > output.txt ``` - Чтобы разбить файл на куски, используйте `split` (разбивает на куски по размеру), или `csplit` (по шаблону или регулярному выражению). - Используйте `zless`, `zmore`, `zcat`, и `zgrep` для работы со сжатыми файлами. ## Системный дебаггинг - Для веб-дебаггинга используйте `curl` и `curl -I`, или их альтернативу `wget`. Также, есть более современные альтернативы, типа [`httpie`](https://github.com/jakubroztocil/httpie). - Чтобы получить информацию о диске/CPU/сети, используйте `iostat`, `netstat`, `top` (или лучшую альтернатву `htop`) и особенно `dstat`. Хороший старт для того, чтобы понимать что происходит в системе. - Для более детальной информации используйте [`glances`](https://github.com/nicolargo/glances). Эта программа показывает сразу несколько разных статистик в одном окне терминала. Полезно, когда следите за сразу несколькими системами. - Для того, чтобы следить за памятью, научитесь понимать `free` и `vmstat`. В частности, не забывайте, что кешированые значения ("cached" value) – это память, которую держит ядро, и эти значения являются частью `free`. - Отладка Джавы – совсем другая рыбка, но некоторые манипуляции над Oracle VirtualBox или любой другой машиной позволит вам делать `kill -3 ` и трассировать сводки стека и кучи (включая детали работы сборщика мусора, которые бывают очень полезны), и их можно дампнуть в stderr или логи. - Используйте `mtr` для лучшей трассировки, чтобы находить проблемы сети. - Для того, чтобы узнать почему диск полностью забит, используйте `ncdu`, это экономит время по сравнению с тем же `du -sh *`. - Чтобы узнать, какой сокет или процесс использует интернет, используйте `iftop` или `nethogs`. - `ab`, которая поставляется вместе с Апачем, полезна для быстрой и нетщательной проверки производительности веб-сервера. Для более серьёзного лоад-тестинга используйте `siege`. - Для более серьёзного дебаггинга сетей используйте `wireshark`, `tshark`, и `ngrep`. - Знайте про `strace` и `ltrace`. Эти команды могут быть полезны, если программа падает или висит и вы не знаете, почему, или если хотите протестировать производительность программы. Не забывайте про возможность отладки (`-c`) с возможностью подключиться к процессу (`-p`). - Не забывайте про `ldd` для проверки системных библиотек. - Знайте, как прицепиться к запущенному процессу (через `gdb`) и получить трассировку стека. - Используйте `/proc`. Иногда он невероятно полезен для отладки запущенных программ. Примеры: `/proc/cpuinfo`, `/proc/xxx/cwd`, `/proc/xxx/exe`, `/proc/xxx/fd/`, `/proc/xxx/smaps`. - Когда отлаживаете что-то, что сломалось в прошлом, используйте `sar` – бывает очень полезно. Показывает историю CPU, памяти, сети и т.д. - Для более глубокого анализа систем и производительности посмотрите на `stap` ([SystemTap](https://sourceware.org/systemtap/wiki)), [`perf`](http://en.wikipedia.org/wiki/Perf_(Linux)) и [`sysdig`](https://github.com/draios/sysdig). - Узнайте, какая у вас операционка, через `uname` или `uname -a` (основная Unix-информация/информация о ядре) или `lsb_release -a` (информация о дистрибутиве). - Используйте `dmesg`, когда что-то ведёт себя совсем странно (например, железо или драйвера). ## В одну строчку Давайте соберём всё вместе и напишем несколько команд: - Это довольно круто, что можно найти множественные пересечения файлов, соединить отсортированные файлы и посмотреть разницу в нескольких файлов через `sort`/`uniq`. Это быстрый подход и работает на файлах любого размера (включая многогигабайтные файлы). (Сортировка не ограничена памятью, но, возможно, вам придётся добавить `-T` если `/tmp` находится на небольшом логическом диске). Ещё посмотрите то, что было сказано выше о `LC_ALL`. Флаг вида `-u option` не используется ниже, чтобы было понятнее: ```sh cat a b | sort | uniq > c # c is a union b cat a b | sort | uniq -d > c # c is a intersect b cat a b b | sort | uniq -u > c # c is set difference a - b ``` - Используйте `grep . *`, чтобы посмотреть содержимое всех файлов в директории, что особенно полезно, когда у вас много конфигов типа `/sys`, `/proc`, `/etc`. - Получить сумму всех чисел, которые находятся в третьей колонке текстового файла. (Скорее всего, это раза в 3 быстрее и раза в 3 проще, чем делать это на Питоне): ```sh awk '{ x += $3 } END { print x }' myfile ``` - Если вам нужно посмотреть размеры и даты создания древа файлов используйте: ```sh find . -type f -ls ``` Это почти как рекурсивная `ls -l, но читабельнее, чем `ls -lR`. - Давайте представим, что у нас есть какой-то текстовый файл, например, лог сервера, и где-то появляется последовательность, например, `acct_id`, после которой строки нам интересны. Давайте подсчитаем, сколько таких запросов в нашем логе: ```sh cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn ``` - Запустите этот скрипт, чтобы получить случайный совет из этой инструкции: ```sh function taocl() { curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md | pandoc -f markdown -t html | xmlstarlet fo --html --dropdtd | xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" | xmlstarlet unesc | fmt -80 } ``` ## Сложно, но полезно - `expr`: для выполнения арифметических и булевых операций, а также регулярных выражений - `m4`: простенький макро-процессор - `yes`: вывод строки в бесконечном цикле - `cal`: классный календарь - `env`: для того, чтобы выполнить команду (полезно в Bash-скриптах) - `printenv`: показать переменные окружения (используется при отладке и в скриптах) - `look`: найти английские слова (или строки) в файле - `cut `, `paste` и `join`: манипуляция данными - `fmt`: форматирование параграфов в тексте - `pr`: отформатировать текст в страницы/колонки - `fold`: (обернуть) ограничить длину строк в файле - `column`: форматировать текст в колонки или таблицы - `expand` и `unexpand`: конвертация между табами и пробелами - `nl`: добавить номера строк - `seq`: вывести последовательность чисел - `bc`: калькулятор - `factor`: возвести числа в степень - `gpg`: зашифровать и подписать файлы - `toe`: таблица терминалов terminfo с описанием - `nc`: дебаггинг сети и передачи данных - `socat`: переключатель сокетов и перенаправление tcp-портов (похоже на `netcat`) - `slurm`: визуализация трафика сети - `dd`: перенос информации между файлами и устройствами - `file`: узнать тип файла - `tree`: показать директории и поддиректории в виде дерева, как `ls`, но рекурсивно - `stat`: информация о файле - `tac`: вывести файл посимвольно наоборот ("ласипан") - `shuf`: случайная выборка строк из файла - `comm`: построчно сравнить отсортированные файлы - `pv`: мониторинг прогресса прохождения информации через пайп - `hd`, `hexdump`, `xxd`, `biew`: hex-дамп и редактирование бинарников - `strings`: найти текст в бинарниках - `tr`: манипуляция с char (символьным типом) - `iconv` и `uconv`: конвертация кодировок - `split` и `csplit`: разбить файлы - `sponge`: прочитать весь входной поток перед тем, как его записать; полезно, когда читаешь из того же файла, куда записываешь, например, так: `grep -v something some-file | sponge some-file` - `units`: конвертер, метры в километры, вёрсты в пяди (смотрите `/usr/share/units/definitions.units`) - `7z`: архиватор с высокой степенью сжатия - `ldd`: показывает зависимости программы от системных библиотек - `nm`: получаем названия всех функций, которые определены в .o или .a - `ab`: бенчмаркинг веб-серверов - `strace`: отладка системных вызовов - `mtr`: лучшая трассировка для дебаггинга сети - `cssh`: несколько терминалов в одном UI - `rsync`: синхронизация файлов и папок через SSH - `wireshark` и `tshark`: перехват пакетов и дебаг сети - `ngrep`: grep для слоя сети (network layer) - `host` и `dig`: узнать DNS - `lsof`: процессинг дескрипторов и информация о сокетах - `dstat`: полезная статистика ОС - [`glances`](https://github.com/nicolargo/glances): высокоуровневая статистика по многим подсистемам - `iostat`: статистика процессора и использования жёсткого диска - `htop`: улучшенная версия `top` - `last`: история логинов в систему - `w`: под каким пользователем вы сидите - `id`: информация о пользователе/группе - `sar`: история системной статистики - `iftop` или `nethogs`: использование сети конкретным сокетом или процессом - `ss`: статистика сокетов - `dmesg`: ошибки загрузки системы и ошибки системы - `hdparm`: манипуляция с SATA/ATA - `lsb_release`: информация о дистрибутиве Linux - `lsblk`: cписок блочных устройств компьютера: дерево ваших дисков и логических дисков - `lshw`, `lscpu`, `lspci`, `lsusb`, `dmidecode`: информация о железе, включая, CPU, BIOS, RAID, графику, девайсы, и т.д. - `fortune`, `ddate`, и `sl`: хм, не знаю, будут ли вам "полезны" весёлые цитатки и поезда, пересекающие ваш терминал :) ## MacOS X only Некоторые вещи, подходящие *только* для Мака. - Системы управлением пакетами — `brew` (Homebrew) и `port` (MacPorts). Они могут быть использованы для того, чтобы установить большинство програм, упомянутых в этом документе. - Копируйте выдачу консольных программ в десктопные через `pbcopy` и вставляйте входные данные через `pbpaste`. - Для того, чтобы открыть файл или десктопную программу типа Finder, используйте `open` вот так: `open -a /Applications/Whatever.app`. - Spotlight: Ищите файлы в консоли через `mdfind` и смотрите метаданные (например, EXIF – информацию из фотографий) через `mdls`. - Не забывайте, что MacOS основан на BSD Unix, и многие команды (например, `ps`, `ls`, `tail`, `awk`, `sed`) имеют небольшие отличия от линуксовых. Это обусловлено влянием `UNIX System V` и `GNU Tools`. Разницу можно заметить, увидев заголовок "BSD General Commands Manual." к манам программ. В некоторых случаях, на Мак можно поставить GNU-версии программ, например `gawk` и `gsed`. Когда пишете кроссплатформенные Bash-скрипты, старайтесь избегать команды, которые могут отличаться (например, лучше используйте Python или `perl`), или тщательно всё тестируйте. ## Больше информации по теме - [awesome-shell](https://github.com/alebcay/awesome-shell): Дополняемый список инструментов и ресурсов для командной строки. - [Strict mode](http://redsymbol.net/articles/unofficial-bash-strict-mode/) Для того, чтобы писать шелл-скрипты лучше. ## Дисклеймер За небольшим исключением, весь код написан так, чтобы другие его смогли прочитать. Кому много дано, с того много и спрашивается. Тот факт, что что-то может быть написано в Баше, вовсе не означает, что оно должно быть на нём написано. ;) ## Лицензия [![Creative Commons License](https://i.creativecommons.org/l/by-sa/4.0/88x31.png)](http://creativecommons.org/licenses/by-sa/4.0/) Оригинальная работа и перевод на русский язык распространяется под лицензией [Creative Commons Attribution-ShareAlike 4.0 International License](http://creativecommons.org/licenses/by-sa/4.0/).