Robots.txt je soubor, který říká Google, co smí prohledávat a co ne. Chrání soukromí a pomáhá Google soustředit se na důležité stránky.