User-agent: Scrapy Allow: / User-agent: * Disallow: /wp-admin/ Disallow: https://exilis.hu/termek/2-doboz-exilis-20/ Disallow: https://exilis.hu/termek/3-doboz-exilis-33/ Disallow: https://exilis.hu/rendeles-egyedi-ajanlat/