# albr.co.il — robots.txt
# מדיניות הסריקה שלנו, ומדוע היא נראית כך:
# האתר הזה רוצה להיות מצוטט. לכן בוטי אחזור וציטוט מוזמנים במפורש,
# ובוטי גריפה בכמות שאינם מחזירים ייחוס — לא.

# ---------- מנועי חיפוש ----------
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ---------- OpenAI ----------
# OAI-SearchBot מביא את הדף אל תוך תשובה עם קישור. זה בדיוק מה שאנחנו רוצים.
User-agent: OAI-SearchBot
Allow: /

# ChatGPT-User = משתמש אנושי שביקש במפורש לפתוח את הדף.
User-agent: ChatGPT-User
Allow: /

# GPTBot = סריקה לאימון. פתוח אצלנו במכוון — התוכן שלנו נועד להיקרא.
User-agent: GPTBot
Allow: /

# ---------- Anthropic ----------
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Allow: /

# ---------- Perplexity ----------
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ---------- Google / Apple: בקרת AI נפרדת מהאינדקס ----------
User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# ---------- חסומים ----------
# גריפה בכמות ללא אחזור, ללא ייחוס וללא תעבורה חוזרת.
User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

# ---------- ברירת מחדל ----------
User-agent: *
Allow: /
Disallow: /404.html

Sitemap: https://albr.co.il/sitemap.xml