Ne tanítsák MI-t a weboldaladdal? Jön egy közös tiltás

Sok cégvezető kérdezi tőlünk: felhasználják-e a weboldalam szövegeit a mesterséges intelligencia tanítására, és ha igen, mondhatok-e nemet? Eddig erre csak szolgáltatónként külön lehetett válaszolni. A Google október 30-án bejelentette, hogy támogatni fog egy közös jelzést, amellyel egyetlen sorral több MI-cégnek is jelezheted, mit szeretnél. Elolvastuk, és összefoglaljuk, mit jelent ez egy kisvállalkozás weboldalára nézve.

Mi a robots.txt, és miért ez a terep?

Minden weboldal gyökerében lehet egy egyszerű szövegfájl, a robots.txt (például teoldalad.hu/robots.txt). Ebben írod meg a keresők és más automatikus „robotok” számára, hogy az oldal mely részeit nézhetik meg. A robotokat a nevükkel szólítod meg (ez a „User-Agent” sor), alatta pedig felsorolod, mit tilt (Disallow) vagy enged (Allow) az oldal.

Az MI-tanítás tiltására eddig is ezt a fájlt használták, csak minden cégnek saját robotneve volt. A Google-nél ez 2023 óta a Google-Extended: ha ezt letiltod, a Google a tartalmadat nem használja a Gemini modellek tanítására. Más szolgáltatóknál más néven kellett ugyanezt megtenni, így a lista hosszú lett, és könnyű volt kifelejteni valakit.

Mi az újdonság?

Az internetes szabványokat kidolgozó IETF egyik munkacsoportja (AIPREF) javaslatot tett egy közös, szolgáltatófüggetlen jelzésre. A tervezet szerint a robots.txt-ben egy különleges nevet, úgynevezett „policy tokent” lehet megszólítani:

`` User-Agent: __usage_ai-training Disallow: / ``

Ez azt jelenti: „nem szeretném, ha a tartalmamat generatív MI-modellek tanítására használnák.” Útvonalanként is finomíthatod: letilthatod az egész oldalt, de engedélyezhetsz például egy sajtóanyagokat tartalmazó mappát.

A Google azt írja, hogy ha egy oldal ezzel a közös jelzéssel tiltja a tanítást, és a Google-Extendedről külön nem rendelkezik, akkor úgy veszik, mintha a Google-Extendedet tiltotta volna le. A cégspecifikus beállítások továbbra is működnek, és a konkrétabb szabály erősebb. Vagyis egy sorral mindenkinek nemet mondhatsz, de egyes szolgáltatóknak külön igent is.

Mikortól él, és mire figyelj?

• Még nem él. A Google a bejelentés szerint 2027-ben tervezi bevezetni, más MI-szolgáltatókkal együtt. Amíg nincs bevezetve, a Google-Extended a működő megoldás.
• Ez tervezet. Az IETF-dokumentum még nem végleges szabvány, a részletek változhatnak.
• Kérés, nem zár. A robots.txt azt mondja meg, mit szeretnél. A tisztességes szolgáltatók betartják, de technikailag nem akadályoz meg senkit. Ami valóban bizalmas, az eleve ne legyen nyilvánosan elérhető.
• Nem a keresést szabályozza. A tervezet kimondja, hogy ez a jelzés nem a robotok bejárását irányítja, hanem a tartalom felhasználását. A Google dokumentációja szerint a Google-Extended tiltása nem befolyásolja, hogy megjelensz-e a Google keresőben, és nem rangsorolási tényező.
• A User-Agent: * nem számít. A tervezet szerint az általános, „mindenkinek” szóló szabály nem jelent MI-tanítási tiltást. Ezt külön, a fenti névvel kell kimondani.

Érdemes tiltani?

Erre nincs egyetlen jó válasz, és üzleti döntés, nem technikai. Néhány szempont, amit mi végiggondolnánk:

1. Mi van az oldaladon? Egy szolgáltatásokat bemutató céges oldal szövegét kevésbé félted, mint egy saját szakmai cikkgyűjteményt, receptet vagy oktatóanyagot, amelyből a bevételed jön.
2. Akarsz-e megjelenni MI-válaszokban? A Google szerint azok az oldalak, amelyek a Google-Extendedet kifejezetten engedik, megjelenhetnek a Gemini alkalmazások válaszaiban, és kattintást is kaphatnak onnan. Aki tilt, ebből kimarad.
3. Útvonalanként is dönthetsz. Nem kell mindent vagy semmit választani: a blogot tilthatod, a cégbemutatót és a sajtóanyagokat engedheted.

Röviden

Az MI-tanítás tiltása eddig szolgáltatónként külön beállítás volt. A közös jelzéssel ez egyszerűbb lesz, de csak 2027-től, és csak a résztvevő cégeknél. Addig a Google-Extended és a többi cégspecifikus név a működő út. Mi azt javasoljuk, hogy most döntsd el, mit szeretnél a tartalmaddal, és amikor a közös jelzés élesedik, egy sorral be tudod állítani. Ha segítség kell a robots.txt átnézéséhez vagy beállításához, szívesen megcsináljuk.