sqlicrawler - это утилита, созданная для автоматизации поиска sql-инъекций. Она запускает экземпляр браузера Chromium Headless и посещает ссылки на сайте, выполняя скрипты на JavaScript и отправляя формы. Это моя 100500 реализация сканнера уязвимостей.
С целью ускорения загрузки страниц загрузка стилей и изображений блокируется.
Такой паук "видит" страницу выше:
# install the package into a virtual environment and create an executable in the ~/.local/bin directory
$ pipx install sqlicrawler
$ sqlicrawler --help
В качестве значения флага -i используется путь до файла, в котором содержится список ссылок (каждая с новой строки) на сайты для сканирования. С помощью флага -o задается имя файла в котором будут храниться результаты сканирования. этот файл имеет формат JSONL. Каждая его строка представляет собой сериализованный в JSON объект. Для парсинга файлов такого типа рекомендуется использовать утилиту jq.
Если Вы хотите заблокировать нежелательные запросы к определенным сайтам, например, к скриптам, собирающим статистику поситетилей сайта, то нужно создать файл ~/.config/sqlicrawler/blacklist.txt, содержащий шаблоны запрещенных ссылок. Часть имени, содержащую произвольное количество символов можно заменить на *.
Сессионная информация браузера лежит в ~/.config/sqlicrawler/chrome_profile.
$ poetry run pytest -s tests
FAQs
SQLi Crawler with JavaScript support.
We found that sqlicrawler demonstrated a healthy version release cadence and project activity because the last version was released less than a year ago. It has 1 open source maintainer collaborating on the project.
Did you know?
Socket for GitHub automatically highlights issues in each pull request and monitors the health of all your open source dependencies. Discover the contents of your packages and block harmful activity before you install or update your dependencies.
Security News
Create React App is officially deprecated due to React 19 issues and lack of maintenance—developers should switch to Vite or other modern alternatives.
Security News
Oracle seeks to dismiss fraud claims in the JavaScript trademark dispute, delaying the case and avoiding questions about its right to the name.
Security News
The Linux Foundation is warning open source developers that compliance with global sanctions is mandatory, highlighting legal risks and restrictions on contributions.