Сканирование страниц

Фоновое сканирование через cron: unionprom.com

Браузер только создает задание. Cron-воркер обрабатывает URL маленькими пачками, чтобы не ловить 504 и не упираться в max_execution_time.
База URL Автопривязка запросов
URL в базе
2
Просканировано
0
Успешно
0
Ошибок
0

1. Создать задание сканирования

Задание только кладет URL в очередь. Сам обход страниц делает cron-воркер.

2. Команда cron

Поставь запуск раз в минуту. Один запуск берет небольшую пачку URL и завершается.

* * * * * php /var/www/job/data/www/17.alkk.ru/cron/crawl-worker.php --limit=10 >/dev/null 2>&1

Для более мягкого режима поставь --limit=5. Для более быстрого — --limit=20. На слабом хостинге лучше начать с 5–10.

Задания сканирования

Заданий пока нет.

Последние просканированные страницы

Пока нет данных сканирования.