Categories: Webmaster Tools :

Googlebot er blokeret fra ny website - Anmoder venligst om gode råd!

Showing 1-8 of 8 messages
Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! Projektleder 6/16/12 4:53 PM
Som webmaster har jeg uploadet en ny hjemmeside for virksomhed i Odense, hvilken Googlebot nu har udelukket for indeksering. Fejlagtigt har der i et tidsrum under uploadning - indenfor ca 2 timer den 14.06.12 - været tilknyttet en robots.txt-fil som uheldigvis stammer fra anden uudnyttet webadresse, hvilken jeg kortvarigt benytte til demo for kunden.

Jeg har nødvendigvis anmodet om en revurdering ved Google. Pågældende har meddelt mig, at det kan vare adskillige uger inden man kigger på sagen.
- Meget nedslående må jeg erkende, at jeg har skabt væsentlige problemer for de involverede parter til trods for, at jeg var i god tro om, at jeg havde leveret en hjemmeside, der var i fuld overensstemmelse med Googles krav til websites.

Det skulle glæde mig, om der er folk i dette forum, som kan bidrage med en mulig løsning på problemet.

Med venlig hilsen
Projektleder
Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! webado 6/16/12 5:14 PM
I cannot access the site using web-sniffer.net - I get:
Connect to odense-palledepot.dk on port 80 ... failed

Error while fetching URL


Your server might block this robot. It makes it much harder to troubleshoot.



In the browser I get redirected somehow to 404.html when I request robots.txt - then redirected again to the root.


If your site does NOT have a robots.txt file it should respond with 404 - not by redirecting to another page which just claims to be 404.

Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! cristina 6/16/12 7:08 PM
The robots.txt does not exist, so the URL is a soft 404, and a bit confusing. It redirects status 302 to 404.html with HTTP status 200 (OK) that has a meta refresh tag to the home page. This is how the site deals with non-existing content.
It would be better to return resulting HTTP status 404 (Not Found) for non-existing URLs than this soft 404.
Robots.txt should exist or if there is no robots.txt file the URL should return HTTP status 404 (Not Found).

Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! Projektleder 6/17/12 12:41 AM

Hej Cristina

Tak for dit svar. Jeg anvender 404, fordi der også skal dirigeres / refereres til links fra det tidligere website - eksempel: odense-palledepot.dk/index.php/1472207

Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! webado 6/17/12 4:44 AM
To have a custom 404 page (e.g. 404.html) on an Apache server you need to have this in the .htaccess file:

ErrorDocument 404 /404.html

The above will respond with 404 while continuing to display the requested URL in the address bar.


I think what you have is this.

ErrorDocument 404 http://odense-palledepot.dk/404.html

The above is incorrect  because it creates a 302 redirection (in this case that's also called a soft 404).

Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! Projektleder 6/17/12 10:41 AM

Jeg har som nævnt denne i min .htaccess:
ErrorDocument 404 http://odense-palledepot.dk/404.html

Min .htaccess er nu ændret som nedennævnte. Problemet er blot, at jeg ikke kan omdirigere en tidligere webadresse fra Google, som er  http://odense-palledepot.dk/index.php/1401994
ErrorDocument 404 /404.html


Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! webado 6/17/12 12:05 PM


No space between / and 404.html:

ErrorDocument 404  /404.html 


Where do you want to redirect that url? Use this and change what is in red:




Re: Googlebot er blokeret fra ny website - Anmoder venligst om gode råd! webado 6/17/12 12:06 PM
Did you upload the .htaccess file after you modified it?