GatPilotBot

GatPilot este un serviciu operat de TOPFED WEB S.R.L., societate cu răspundere limitată înregistrată în Republica Moldova, cu IDNO 1026023125543. Sediul firmei este în Chișinău, Republica Moldova.

GatPilotBot este crawlerul GatPilot, adică programul care citește automat paginile publice ale unui site.

Citește un site ca să-i transforme textul în cunoștințe pentru asistentul AI al unei singure firme, client GatPilot.

Se prezintă serverului cu acest nume, numit user agent:

GatPilotBot/1.0 (+https://gatpilot.com/bot)

Dintr-o pagină păstrează:

• titlul și textul principal, fără meniuri, antet, subsol, formulare și scripturi;
• adresa paginii și data citirii.

Ce se întâmplă apoi cu textul:

• devine o sursă în cunoștințele asistentului acelei firme, care răspunde din ea;
• se împarte în fragmente, adică bucăți scurte de text, de obicei un paragraf sau două;
• fragmentele trec prin OpenAI, care le transformă în șiruri de numere, ca asistentul să caute în ele după sens;
• firma vede textul citit în panou și poate șterge orice pagină;
• alte firme nu îl văd, iar noi nu îl folosim ca să antrenăm modele AI.

GatPilotBot vine doar când cineva dintr-o firmă client, proprietarul sau un administrator, scrie adresa unui site în panou și apasă „Citește site-ul”.

Botul nu verifică dacă firma e proprietara site-ului. Termenii îi cer să adauge doar conținut pe care are dreptul să-l folosească.

• Termeni și condiții: conținutul pe care îl încarci

Nu are un program de recitire. Revine doar când firma pornește din nou citirea.

Dacă o citire dă eroare, se reia automat de cel mult două ori. Dacă serverul nostru repornește în timpul ei, citirea reîncepe de la capăt.

Pentru un asistent citește în total cel mult 20 de pagini pe planul Free, 200 pe Pro și 2.000 pe Custom. Paginile citite înainte se numără și ele.

La începutul fiecărei citiri, botul descarcă /robots.txt de la rădăcina site-ului adăugat. E fișierul în care proprietarul spune ce pot citi roboții.

• Folosește grupul User-agent: GatPilotBot. Dacă grupul lipsește, folosește grupul User-agent: *.
• Citește regulile Disallow și Allow ca început de cale. Câștigă regula cea mai lungă, iar la egalitate câștigă Allow.
• Caracterele * și $ nu au pentru el un sens special, așa că scrie regulile ca început de cale.
• Regulile privesc doar calea, nu și parametrii de după semnul întrebării.
• Ține cont de Crawl-delay, cum scrie mai jos, la ritm.
• Dacă robots.txt lipsește, nu răspunde în 10 secunde sau dă o eroare, botul citește ca și cum n-ar exista reguli.

Ia întâi adresele din harta site-ului (sitemap): cea scrisă în robots.txt sau, dacă lipsește, /sitemap.xml.

• Hărțile le descarcă la început, una după alta, fără pauză: de regulă cel mult circa 50 de fișiere. Nu mai deschide alte hărți după 5.000 de adrese, dar o singură hartă mare poate da mai multe.
• Dacă harta nu dă nicio adresă, urmează legăturile din pagini, cel mult 3 niveluri de la prima pagină.
• Ia doar adrese de pe același domeniu, cu sau fără www, și le verifică pe fiecare în robots.txt.
• Dacă o pagină trimite mai departe (redirecționare), botul o urmează de cel mult 4 ori, chiar și spre alt domeniu.
• Sare peste coș și finalizarea comenzii, cont și autentificare, căutare și filtre, fluxuri, etichete, categorii și administrare.
• Sare implicit și peste paginile de produs. Firma le poate include, cu opțiunea „Citește și paginile de produs”.
• Sare peste fișiere: imagini, PDF-uri, documente, arhive, foi de stil și scripturi.
• Păstrează doar paginile cu cel puțin 200 de caractere de text.

Trimite cel mult 3 cereri deodată.

• După fiecare serie face o pauză de cel puțin 300 ms sau cât cere Crawl-delay, dacă e mai mult.
• Așteaptă fiecare cerere cel mult 15 secunde și nu păstrează paginile mai mari de 5 MB.
• Face doar cereri de citire (GET), fără cookie-uri și fără autentificare. Nu rulează JavaScript și nu trimite formulare.
• Nu deschide adrese din rețele private și nici alte porturi decât 80 și 443.

Ca să oprești GatPilotBot pe tot site-ul, scrie în robots.txt:

User-agent: GatPilotBot
Disallow: /

Ca să oprești doar o parte a site-ului, scrie calea ei:

User-agent: GatPilotBot
Disallow: /intern/

Ca să-l încetinești, cere o pauză mai lungă, în secunde:

User-agent: GatPilotBot
Crawl-delay: 10

Scrie numele fără versiune: un grup pentru „GatPilotBot/1.0” nu se aplică. Regula contează de la următoarea citire; una pornită deja folosește robots.txt descărcat la început.

Și cu Disallow: /, botul mai descarcă la început robots.txt și harta site-ului. Nu deschide însă nicio pagină.

Paginile citite înainte rămân în cunoștințele asistentului până le șterge firma. O recitire le actualizează doar cât îi mai permite limita planului: la limită nu citește nimic. Paginile dispărute de pe site nu le șterge.

Dacă vrei să fie scoase paginile tale deja citite, scrie-ne la info@gatpilot.com, cu domeniul și adresele.

Scrie-ne la info@gatpilot.com. Trimite domeniul, data și ora cererilor, cu fusul orar, și ce s-a întâmplat.

Câteva rânduri din jurnalul serverului ne ajută să găsim citirea.

Răspundem în cel mult o zi lucrătoare, în română sau rusă.

Pentru un răspuns greșit sau dăunător al unui asistent GatPilot, citește Mențiuni legale.

• Mențiuni legale