Robots.txt i disallow dodatnih stranica tagova
Želim zabraniti crawlanje svih tag stranica koje dolaze nakon prve/osnovne stranice taga
Primjer zabrane:
/tag/xbox/page/2/
/tag/xbox/page/3/
Da li bi ovo bila dobra sintaksa?
Disallow: /tag/*/page/*
I ako netko ima nekakav prijedlog kako da ih označim kao no-index
Koristim Yoast i on naravno kaže za cijeli tag da li je index ili no-index
Hvala