Осваиваем швейцарский нож для взаимодействия с сетевыми протоколами.
Curl (Client URL, или «Клиентский URL») — это инструмент командной строки, предназначенный для передачи данных по различным сетевым протоколам. Он помогает разработчикам, системным администраторам и другим специалистам выполнять HTTP-запросы, загружать файлы, тестировать API и решать множество задач по отладке веб-приложений.
Давайте сразу проверим Curl в действии. Для этого откройте на своём компьютере терминал, скопируйте следующую команду и нажмите Enter:
curl https://httpbin.org/ip
После ввода команды Curl отправит GET-запрос на сервис httpbin.org, который обработает запрос и вернёт ваш текущий IP-адрес в формате JSON:
C:Usersuser>curl https://httpbin.org/ip { “origin”: “95.165.134.78” }
Похожим образом Curl позволяет легко взаимодействовать с различными API и получать нужную информацию. Теперь поговорим об этом подробней.
Проект привлёк внимание многих разработчиков, поскольку решал актуальную проблему того времени — загрузку данных из интернета. До появления httpget разработчикам приходилось создавать отдельные скрипты для каждого случая получения данных. Программа позволяла получить нужную информацию всего несколькими простыми командами.
Со временем проект HTTPget сменил название на Urlget, а затем на Curl. Сегодня Curl — это кросс-платформенная утилита командной строки, которая позволяет передавать или загружать данные с сервера, устанавливая подключение через различные протоколы: HTTP, HTTPS, FTP, SFTP, TFTP, SCP, Telnet, DICT, LDAP, POP3, IMAP, SMTP и другие.
Сейчас, помимо Curl, существуют и другие инструменты для работы с HTTP-запросами. Вот некоторые из популярных:
Несмотря на множество альтернатив, Curl остаётся популярным инструментом благодаря своей универсальности, широкой поддержке протоколов и кросс-платформенности. Давайте перейдём к его установке.
👉 Возможности Curl и других бесплатных инструментов для передачи данных: сравнительная таблица
Как установить и запустить Curl
В современных операционных системах утилита Curl обычно установлена по умолчанию. Для проверки откройте терминал и введите команду:
curl –version
Должен отобразиться номер версии и поддерживаемые протоколы:
Результат вывода после проверки версии Curl в командной строке.
Скриншот: Windows 10 / Skillbox Media
Если Curl не установлен, в терминале появится сообщение об ошибке:
‘curl’ is not recognized as an internal or external command, operable program or batch file.
Если вы видите подобное сообщение, значит, программа Curl недоступна и её нужно загрузить. Способ установки зависит от операционной системы.
brew install curl
После завершения установки проверьте версию Curl:
curl –versionsudo apt-get update sudo apt-get install curl
Для Fedora:
sudo dnf install curl
Для CentOS или RHEL:
sudo yum install curl
Для Arch Linux:
sudo pacman -S curl
После установки проверьте версию Curl командой:
curl –versionwinget install curl
После установки перезапустите PowerShell или командную строку и проверьте установку:
curl –version
После загрузки распакуйте папку из архива, переименуйте её в Curl и поместите в удобное место. Например, наша папка находится по пути: C:/Program Files/Curl. Затем откройте папку Curl, перейдите в подпапку bin и скопируйте полный путь к этому каталогу:
Скриншот: Windows 7 / Skillbox Media
Не выходя из проводника, щёлкните правой кнопкой мыши по разделу Компьютер и в появившемся меню выберите пункт Свойства:
Скриншот: Windows 7 / Skillbox Media
Откроется информационное окно со сведениями о вашем компьютере. В левой панели щёлкните на пункт Дополнительные параметры системы:
Скриншот: Windows 7 / Skillbox Media
В открывшемся окне нажмите кнопку Переменные среды:
Скриншот: Windows 7 / Skillbox Media
В разделе Системные переменные найдите пункт Path, выделите его и нажмите кнопку Изменить:
Скриншот: Windows 7 / Skillbox Media
Появится окно Изменение системной переменной, в котором вам нужна строка Значение переменной. Поставьте точку с запятой в конце текущего значения и сразу после него без пробела вставьте скопированный путь к каталогу. Нажмите ОК во всех открытых окнах и перезагрузите компьютер:
Скриншот: Windows 7 / Skillbox Media
После перезагрузки откройте командную строку и выполните проверку:
curl –version
Если отобразилась версия утилиты, значит, всё правильно. Если появилось сообщение об ошибке или команда не распознана, попробуйте следующее:
- Проверьте путь к Curl в разделе Переменные среды Path — убедитесь, что вы добавили его согласно инструкции.
- Перезапустите командную строку или PowerShell.
- Если проблема сохраняется, перезагрузите компьютер ещё раз.
- Если ничего не помогло, повторите процедуру установки.
Базовый синтаксис
Общий синтаксис Curl-команд выглядит следующим образом:
curl [параметры] [URL]
Базовые команды можно выполнять без параметров по указанию URL-адреса. Например, с помощью следующей команды вы сможете загрузить HTML-структуру выбранного сайта в свой терминал:
# Замените example.com на адрес любого сайта curl https://www.example.com
Хотя параметры необязательны, они позволяют точно настроить поведение Curl и расширить его функциональность. Вот несколько частых параметров:
- -O: сохраняет скачиваемый файл с его оригинальным именем;
- -o: сохраняет файл с указанным вами именем;
- -I: получает только HTTP-заголовки ответа сервера;
- -L: следует редиректам. Например, если сайт перенаправляет запрос с http://example.com на https://example.com, Curl с параметром -L автоматически выполнит это перенаправление.
Параметры всегда должны располагаться перед URL и их можно комбинировать. Вот пример комбинированной команды:
curl -LO <https://example.com/file.zip> # Эта команда следует редиректам (-L) и сохраняет файл с оригинальным именем (-O)
Для просмотра всех доступных параметров используйте команду:
curl –help all
В следующем разделе мы рассмотрим основные сценарии использования Curl и попрактикуемся применять команды с различными параметрами.
Как пользоваться Curl
Рассмотрим команды для основных сценариев использования Curl:
- GET-запрос: curl https://example.com
- POST-запрос: curl -X POST -d «data» https://example.com
- Скачивание файла: curl -O https://example.com/file.zip
- Вывод заголовков: curl -I https://example.com
- Аутентификация: curl -u username: password https://example.com
- Следование редиректам: curl -L https://example.com
- Загрузка файла: curl -T file.txt https://example.com/upload
Для закрепления этих команд воспользуемся сервисом JSONPlaceholder. Это бесплатный онлайн REST API, предоставляющий фиктивные данные для обучения и тестирования. Данный ресурс позволяет практиковаться в работе с API без настройки собственного сервера.
GET-запрос
Эта команда позволяет получать данные с сервера без их изменения. С её помощью вы можете просматривать содержимое ресурса, проверять доступность API или проводить отладку приложения.
Отправим GET-запрос для получения информации о посте:
curl https://jsonplaceholder.typicode.com/posts/1
В результате мы получим примерно такой JSON-объект:
{ “userId”: 1, “id”: 1, “title”: “sunt aut facere repellat provident occaecati excepturi optio reprehenderit”, “body”: “quia et suscipitnsuscipit recusandae consequuntur expedita et cumnreprehenderit molestiae ut ut quas totamnnostrum rerum est autem sunt rem eveniet architecto” }
В ответе содержится информация о посте: идентификатор пользователя (userId), идентификатор поста (id), заголовок (title) и содержание (body). Поскольку сервис JSONPlaceholder предоставляет фиктивные данные, содержимое вашего поста может отличаться от приведённого примера.
POST-запрос
Эта команда применяется для передачи данных на сервер при заполнении веб-форм, отправке сообщений или создании новых записей в базе данных.
Создадим новый пост и отправим на сервер следующие JSON-данные:
{ “title”: “Заголовок поста”, “body”: “Здесь мы добавляем содержание поста”, “userId”: 1 }
Выполним Curl-команду:
curl -X POST -H “Content-Type: application/json” -d “{“title”: “Заголовок поста”, “body”: “Здесь мы добавляем содержание поста”, “userId”: 1}” “https://jsonplaceholder.typicode.com/posts”
После обработки запроса сервер вернёт ответ, в котором содержится информация о созданном посте с его уникальным идентификатором:
{ “title”: “Заголовок поста”, “body”: “Здесь мы добавляем содержание поста”, “userId”: 1, “id”: 101 }
Скачивание файла
Эта команда позволяет сохранить полученные данные в файл на вашем компьютере. Это удобно при работе с большими объёмами данных или когда требуется дальнейшая обработка полученной информации.
Сохраним JSON-ответ в файл post.json в нашей текущей директории:
curl -o post.json https://jsonplaceholder.typicode.com/posts/1
Результат вывода:
C:Usersuser>curl -o post.json https://jsonplaceholder.typicode.com/posts/1 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 292 100 292 0 0 380 0 –:–:– –:–:– –:–:– 382
Файл post.json сохранён в директории C:Usersuser. Вывод также содержит статистику загрузки данных:
- Общий размер файла: 292 байта.
- Процент загрузки: 100%.
- Скорость загрузки: 380 байт/с.
- Время выполнения: мгновенно (–: –: –).
Вывод заголовков
Эта команда позволяет получить заголовки HTTP-ответов без тела сообщения. Это полезно для проверки статуса ответа, типа содержимого, заголовков кэширования и других метаданных с запрашиваемого ресурса.
Отправим запрос для получения HTTP-заголовков из нашего сервиса:
curl -I https://jsonplaceholder.typicode.com/posts/1
Пример ответа:
HTTP/1.1 200 OK Date: Wed, 23 Oct 2024 07:34:44 GMT Content-Type: application/json; charset=utf-8 Content-Length: 292 Connection: keep-alive Report-To: {“group”:”heroku-nel”,”max_age”:3600,”endpoints”:[{“url”:”https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D”}]} Reporting-Endpoints: heroku-nel=https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D Nel: {“report_to”:”heroku-nel”,”max_age”:3600,”success_fraction”:0.005,”failure_fraction”:0.05,”response_headers”:[“Via”]} X-Powered-By: Express X-Ratelimit-Limit: 1000 X-Ratelimit-Remaining: 999 X-Ratelimit-Reset: 1729551747 Vary: Origin, Accept-Encoding Access-Control-Allow-Credentials: true Cache-Control: max-age=43200 Pragma: no-cache Expires: -1 X-Content-Type-Options: nosniff Etag: W/”124-yiKdLzqO5gfBrJFrcdJ8Yq0LGnU” Via: 1.1 vegur CF-Cache-Status: HIT Age: 1983 Accept-Ranges: bytes Server: cloudflare CF-RAY: 8d700bdd4a385b4f-VIE alt-svc: h3=”:443″; ma=86400 server-timing: cfL4;desc=”?proto=TCP&rtt=25362&sent=5&recv=6&lost=0&retrans=0&sent_bytes=3130&recv_bytes=510&delivery_rate=144240&cwnd=252&unsent_bytes=0&cid=748ae82f39ab1e32&ts=71&x=0″
Этот вывод содержит важную информацию для анализа ответов API и отладки запросов. В нём есть статус ответа (200 OK), тип содержимого (например, application/json), длина контента, а также заголовки кэширования, безопасности и ограничения скорости. Такие сведения помогают разработчикам лучше понять взаимодействие с сервером и выявить потенциальные проблемы.
Аутентификация
Аутентификация обеспечивает доступ к частным или защищённым ресурсам. Сервис JSONPlaceholder не требует аутентификации, однако вы можете выполнить команду, демонстрирующую передачу данных при работе с защищёнными API. В нашем примере сервер вернёт список постов, а в реальном сценарии такой запрос открыл бы доступ к закрытому ресурсу:
curl -u username:password https://jsonplaceholder.typicode.com/posts
Следование редиректам
Редиректы полезны при работе с URL-адресами, которые могут перенаправлять на другие ресурсы. JSONPlaceholder не использует редиректы, поэтому команда ниже эмулирует этот процесс, позволяя Curl автоматически следовать по цепочке переадресаций сайтов. При реальном запросе вы получите конечный ресурс после различных перенаправлений:
curl -L https://jsonplaceholder.typicode.com/posts/1
Загрузка файла
Вы можете отправлять POST-запросы для передачи больших объёмов данных или заранее подготовленной информации. Создадим файл newpost.json и сразу отправим его содержимое на JSONPlaceholder.
Добавим кодировку UTF-8, чтобы избежать ошибок при отображении данных на русском языке:
chcp 65001
Создадим файл newpost.json:
echo {“title”: “Загруженный пост”, “body”: “Содержимое поста”, “userId”: 1} > newpost.json curl -X POST -H “Content-Type: application/json” -d @newpost.json https://jsonplaceholder.typicode.com/posts
Получаем ответ от сервера, подтверждающий выполнение запроса:
C:Usersuser>curl -X POST -H “Content-Type: application/json” -d @newpost.json https://jsonplaceholder.typicode.com/posts { “title”: “Загруженный пост”, “body”: “Содержимое поста”, “userId”: 1, “id”: 101 }
Что дальше
Вы познакомились с возможностями Curl, и, если считаете, что этот инструмент может пригодиться в работе, рекомендуем следующие ресурсы:
Отладка — это процесс выявления и устранения ошибок в работе сайтов или веб-сервисов. Она включает проверку кода, тестирование функциональности и анализ производительности — шаги, обеспечивающие корректную работу приложения.
Терминал — это общее название всех программ и устройств, обеспечивающих доступ к командной строке. В macOS это программа «Терминал», в Linux — GNOME Terminal, а в Windows — Command Prompt, Windows Terminal и PowerShell.
IRC (Internet Relay Chat) — протокол обмена текстовыми сообщениями в реальном времени. Он был популярен в 1990-х и начале 2000-х годов в так называемых IRC-чатах — виртуальных комнатах, где пользователи общались до появления современных мессенджеров и соцсетей. В этих чатах часто использовались боты — автоматизированные программы для предоставления различной информации. Именно такого бота для получения валютных курсов и создал Даниэль Стенберг.
Рекурсивная загрузка — это функция, которая позволяет автоматически скачивать не только указанный файл, но и все связанные с ним файлы или страницы. Она полезна при работе с сайтами или FTP-серверами, когда необходимо загрузить целую структуру директорий или все файлы, относящиеся к определённой странице.
REST API — это способ взаимодействия между программами через интернет. Например, когда вы открываете приложение «Погода» на телефоне, оно использует REST API для получения данных с сервера и отображения актуальной информации.