Dear 站长:感謝提供許多寶貴的經驗，想請教，第四，Diagnostic部分也提供了一个robots.txt文件检测工具….的部份，提及若文件有問題，可能造成搜索引擎完全不能爬行網站！現在我遇到了這個問題，robots.txt 是依標準形式撰寫，但自從Google下載robots.txt之後，就停止檢索我的網站，提交Sitemaps時，也出現了「無法存取 robots.txt 」，網頁檢索錯誤中的「無法連上的 URL」數目持續增加！我使用robots.txt文件检测工具，檢測無法連上的 URL的目錄與檔案是完全正常且允許，重新修改robots.txt，隔了很多天，搜索引擎也完全不能爬行網站，即使刪除了很多天，使用Google Sitemaps检测工具测试，仍然出現「無法存取 robots.txt 」，不知道站長有沒有什麼建議？非常感謝您！