GatPilotBot

GatPilot является сервисом, которым управляет TOPFED WEB S.R.L., общество с ограниченной ответственностью, зарегистрированное в Республике Молдова, IDNO 1026023125543. Юридический адрес компании: Кишинёв, Республика Молдова.

GatPilotBot является краулером GatPilot, то есть программой, которая автоматически читает публичные страницы сайта.

Он читает сайт, чтобы превратить его текст в знания для AI-ассистента одной компании, клиента GatPilot.

Он представляется серверу этим именем, которое называется user agent:

GatPilotBot/1.0 (+https://gatpilot.com/bot)

Со страницы он сохраняет:

• заголовок и основной текст, без меню, шапки, подвала, форм и скриптов;
• адрес страницы и дату чтения.

Что затем происходит с текстом:

• он становится источником в знаниях ассистента этой компании, который отвечает на его основе;
• он делится на фрагменты, то есть короткие куски текста, обычно длиной в абзац или два;
• фрагменты проходят через OpenAI, который превращает их в последовательности чисел, чтобы ассистент мог искать в них по смыслу;
• компания видит прочитанный текст в кабинете и может удалить любую страницу;
• другие компании его не видят, а мы не используем его, чтобы обучать AI-модели.

GatPilotBot приходит, только когда кто-то из компании-клиента, владелец или администратор, вводит адрес сайта в кабинете и нажимает «Прочитать сайт».

Бот не проверяет, является ли компания владельцем сайта. Условия использования требуют от неё добавлять только содержимое, которое она вправе использовать.

• Условия использования: загружаемое вами содержимое

У него нет расписания повторных обходов. Он возвращается, только когда компания снова запускает обход.

Если обход завершается ошибкой, он автоматически повторяется не более двух раз. Если наш сервер перезапускается во время обхода, обход начинается заново.

Для одного ассистента он читает в сумме не более 20 страниц на тарифе Free, 200 на Pro и 2 000 на Custom. Страницы, прочитанные ранее, тоже учитываются.

В начале каждого обхода бот скачивает /robots.txt из корня добавленного сайта. Это файл, в котором владелец указывает, что могут читать роботы.

• Использует группу User-agent: GatPilotBot. Если такой группы нет, использует группу User-agent: *.
• Читает правила Disallow и Allow как начало пути. Побеждает самое длинное правило, а при равенстве побеждает Allow.
• Символы * и $ не имеют для него особого значения, поэтому записывайте правила как начало пути.
• Правила касаются только пути, а не параметров после вопросительного знака.
• Учитывает Crawl-delay при выборе темпа, как описано ниже.
• Если robots.txt отсутствует, не отвечает в течение 10 секунд или возвращает ошибку, бот читает так, будто правил нет.

Сначала он берёт адреса из карты сайта (sitemap): той, что указана в robots.txt, или, если её нет, /sitemap.xml.

• Карты сайта он скачивает в начале, одну за другой, без паузы: как правило, не более примерно 50 файлов. После 5000 адресов он не открывает новые карты, но одна большая карта может дать и больше.
• Если карта сайта не даёт ни одного адреса, он переходит по ссылкам на страницах, не дальше 3 уровней от первой страницы.
• Берёт только адреса того же домена, с www или без, и проверяет каждый по robots.txt.
• Если страница перенаправляет дальше (редирект), бот проходит не более 4 перенаправлений, даже на другой домен.
• Пропускает корзину и оформление заказа, аккаунт и вход, поиск и фильтры, ленты, метки, категории и администрирование.
• По умолчанию он пропускает и страницы товаров. Компания может включить их опцией «Читать и страницы товаров».
• Пропускает файлы: изображения, PDF, документы, архивы, таблицы стилей и скрипты.
• Сохраняет только страницы, на которых не менее 200 символов текста.

Он отправляет не более 3 запросов одновременно.

• После каждой серии делает паузу не менее 300 мс или столько, сколько требует Crawl-delay, если это дольше.
• Ждёт ответа на каждый запрос не более 15 секунд и не сохраняет страницы больше 5 МБ.
• Делает только запросы на чтение (GET), без cookies и без аутентификации. Не выполняет JavaScript и не отправляет формы.
• Не открывает адреса в частных сетях и не использует другие порты, кроме 80 и 443.

Чтобы остановить GatPilotBot на всём сайте, напишите в robots.txt:

User-agent: GatPilotBot
Disallow: /

Чтобы закрыть для него только часть сайта, укажите её путь:

User-agent: GatPilotBot
Disallow: /internal/

Чтобы замедлить его, задайте более длинную паузу в секундах:

User-agent: GatPilotBot
Crawl-delay: 10

Указывайте имя без версии: группа для «GatPilotBot/1.0» не применяется. Правило действует со следующего обхода; уже начатый обход использует robots.txt, скачанный в его начале.

Даже при Disallow: / бот в начале всё равно скачивает robots.txt и карту сайта. Но ни одной страницы он не открывает.

Страницы, прочитанные ранее, остаются в знаниях ассистента, пока компания их не удалит. Повторный обход обновляет их только в пределах, которые ещё позволяет лимит тарифа: при исчерпанном лимите он ничего не читает. Страницы, исчезнувшие с сайта, он не удаляет.

Если вы хотите, чтобы уже прочитанные страницы вашего сайта были удалены, напишите нам на info@gatpilot.com, указав домен и адреса.

Напишите нам на info@gatpilot.com. Укажите домен, дату и время запросов с часовым поясом и опишите, что произошло.

Несколько строк из журнала сервера помогут нам найти этот обход.

Отвечаем в течение одного рабочего дня, на румынском или русском.

О неверном или вредном ответе ассистента GatPilot см. страницу «Правовая информация».

• Правовая информация