Генератор Robots.txt
Сеть и эксплуатация · Бесплатный онлайн-инструмент
Генерация правил robots.txt для веб-сайта.
# robots.txt # Generated by codernewbie.com User-agent: * Allow: /public/ Disallow: /admin/ Disallow: /private/ Disallow: /tmp/ Sitemap: https://example.com/sitemap.xml
Несколько User-agent
Определение отдельных блоков правил для Googlebot, Bingbot или всех краулеров.
Allow и Disallow
Смешивание allow и disallow правил с одним путём на строку.
Готов к развёртыванию
Скачивание готового robots.txt для корня вашего сайта.
Как пользоваться: Генератор Robots.txt
- 1Enter the URL, IP address, or network parameter to look up.
- 2Click the lookup or test button.
- 3Review the detailed results in the output panel.
- 4Use the information for your network operations.
Возможности
- ✓100% бесплатно — без регистрации, подписки и рекламы
- ✓Работает полностью в браузере — данные не покидают ваше устройство
- ✓Быстро и легко — мгновенный результат
- ✓Кроссплатформенность — компьютеры, планшеты и смартфоны
Часто задаваемые вопросы
Are network lookups real-time?
Yes, IP lookups, DNS queries, and HTTP tests perform live network requests to provide current data.
Is my IP address logged?
The IP Lookup tool queries public geolocation APIs. We do not store your IP address or lookup history.
Похожие инструменты
Просмотр IP
Запрос геолокации IP-адреса и информации об ISP.
Калькулятор подсетей
Расчёт параметров подсети IPv4 из CIDR.
DNS-запрос
Запрос DNS-записей через Google DNS over HTTPS.
Разборщик User-Agent
Разбор браузера, ОС и устройства из строки UA.
Коды состояния HTTP
Справочник по всем кодам состояния HTTP.
Тестер HTTP-запросов
Отправка GET/POST/PUT/DELETE-запросов и просмотр ответов.