En rad i robots.txt svarar på tre frågor: ja till att synas i sökresultat, ja till att användas som underlag i AI-svar och nej till att modeller tränas på innehållet.