Делаю в файле .htaccess редирект с www на основной хост таким образом:
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
Надо сделать так, чтобы это правило не распространялось на robots.txt, то есть не было редиректа по адресу http://www.site.com/robots.txt