Blokada robot.txt

To jest Link Checker (a więc tool do sprawdzania linków, nie składni), a nie walidator to raz, dwa – już pisałem, że dla zasobów zewnętrznych kontrola odbywa się po stronie ich serwera (Ty nie masz wpływu na to, co przykładowo takie Google wrzuci w swój własny plik robots) nie zaś twojego, trzy – nie każdy komunikat jaki wyskoczy w jakimś narzędziu jest stricte błędem. Wyniki trzeba zawsze poddawać analizie, a nie brać wszystko na ślepo jak leci ….bo coś wyskoczyło, to tragedia.

Wspominałeś wcześniej o tym, że chodzi o indeksowanie ….to dostałeś odsyłacz do najwłaściwszego narzędzia w tym względzie. Google indeksuje, wiec pilnuj co Google widzi i z czym ewentualnie ma problem, a nie szukaj dziury w całym. Bo szukasz problemów na siłę, zamiast skupić się na tym co istotne.