Google vuole rendere il Robot Exclusion Protocol, o REP, un vero standard del Web, a 25 anni dalla sua nascita.
La bozza é stata inviata all'IETF, il gruppo che definisce gli standard per le tecnologie internet, e Google invita gli sviluppatori a inviare i loro suggerimenti.
Si tratta di un sistema che permette ai webmaster di bloccare l'accesso ai loro siti (tutti o in parte) ai vari client automatici che scandagliano il Web continuamente, come i web crawler dei motori di ricerca (incluso il Googlebot, naturalmente, che proprio in questi giorni sta passando all'indicizzazione mobile-first).