最近接手一个wordpress网站的安全优化，发现有一项安全提示是robots.txt风险，wordpress文件tree中并没有发现robots.txt这个文件。那么robots在哪里呢？

wordpress设置robots文件的目录：/wp-includes/functions.php，然后搜索do_robotstxt，大概在1699行。

在functions.php中，wordpress默认设置的robots文件是：

   $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );

    $site_url = parse_url( site_url() );
    $path     = ( ! empty( $site_url['path'] ) ) ? $site_url['path'] : '';
    $output  .= "Disallow: $path/wp-admin/\n";
    $output  .= "Allow: $path/wp-admin/admin-ajax.php\n";

第一个output变量是允许所有的蜘蛛爬取页面，第二个output变量是禁止爬取/wp-admin/目录下的所有文件，而第三个则是允许爬取/wp-admin/admin-ajax.php文件。

如果需要修改wordpress默认的robots禁止蜘蛛爬取某一个文件目录，这个时候直接再写入一个output变量，后面再写入需要禁止的目录名称即可。我需要禁止ajax目录，直接写入一个output变量，禁止爬取ajax目录就OK了。