snewsBot

User-Agent: snewsBot/1.0 (+https://snews.ge/bot)

რას აგროვებს

snewsBot სწვდება ქართული მედიების საჯარო გვერდებს, RSS არხებს და sitemap-ებს. ვინახავთ მხოლოდ სათაურს, მოკლე ანონსს (არაუმეტეს 300 სიმბოლო), სურათის მისამართს, გამოქვეყნების დროს, ავტორს და ორიგინალის ბმულს. სრული ტექსტი ინახება მხოლოდ იმ წყაროებისგან, რომლებთანაც წერილობითი შეთანხმება გვაქვს. ტექსტს არ ვცვლით და არ ვაწერთ ხელახლა.

რა სიხშირით

თითოეულ საიტს ვეკითხებით 5–60 წუთში ერთხელ. ერთ დომენზე მოთხოვნებს შორის მინიმუმ 1 წამიანი პაუზაა, ვიყენებთ ETag/If-Modified-Since-ს და ერთ გაშვებაზე მაქსიმუმ 30 ახალ გვერდს ვხსნით.

როგორ დაბლოკოთ

ბოტი ყოველთვის იცავს robots.txt-ს. ჩვენი დაბლოკვისთვის დაამატეთ:

User-agent: snewsBot
Disallow: /

ან გამოიყენეთ წაშლის მოთხოვნის ფორმა.