# useorion.ai - Robots.txt
# Updated: 2025-12-31
# Purpose: Allow indexing, allow AI search crawlers, block aggressive scrapers

# ============================================================
# AI SEARCH ENGINES (Allow for citations/search)
# ============================================================

# OpenAI (ChatGPT Search)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

# Google (Gemini + Search)
User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

# Microsoft (Copilot + Bing)
User-agent: Bingbot
Allow: /

# Apple (Siri, Spotlight)
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: meta-externalagent
Allow: /

# Cohere AI
User-agent: cohere-ai
Allow: /

# Anthropic AI
User-agent: anthropic-ai
Allow: /

# ============================================================
# AGGRESSIVE SCRAPERS
# ============================================================

# SEO Tools (not search engines)
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

# Generic scrapers
User-agent: PetalBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# ============================================================
# AUTHENTICATED PAGES (Disallow for all bots)
# ============================================================

User-agent: *
Disallow: /login
Disallow: /signup
Disallow: /dashboard/
Disallow: /api/
Disallow: /admin/
Allow: /

# ============================================================
# SITEMAPS
# ============================================================

Sitemap: https://useorion.ai/sitemap.xml


# =============================================================
# ORION
# =============================================================
#
#                                                         zzzzzzzzzzz  
#                                                     zzzzzzzzzzzzzzzz 
#                                                 zzz         zzzzzzzzz
#                                              zz             zzzzzzzzz
#                                           z                 zzzzzzzzz
#                               z                             zzzzzzzzz
#                               zz                            zzzzzzzz 
#                    z         zzzz                          zzzzzzzzz 
#                   zz     zzzzzzzzzzzz                     zzzzzzzzz  
#                   zz         yzz                         zzzzzzzzz   
#                   zzz         zz                        zzzzzzzzz    
#                  zzzz         z                        zzzzzzzzz     
#                 zzzzzzz             z                 zzzzzzzzz      
#          zzzzzzzzzzzzzzzzzzzzz      z               zzzzzzzzzz       
#            zzzzzzzzzzzzzzzz        zzz             zzzzzzzzzz        
#                 zzzzzzz       zzzzzzzzzzzzz      yzzzzzzzzz          
#                  zzzz              zzz          zzzzzzzzzz           
#                   zz                z         zzzzzzzzzz             
#                   zz                z        zzzzzzzzzz              
#                    z                       zzzzzzzzzzz               
#                    z                     zzzzzzzzzzz                 
#            z                           zzzzzzzzzzz                   
#           z                          zzzzzzzzzzz                     
#          z                         zzzzzzzzzzzz                      
#         z                        zzzzzzzzzzzz                        
#        z                       zzzzzzzzzzzz                          
#       z                     zzzzzzzzzzzzz                            
#      zz                  yzzzzzzzzzzzz                               
#      zz               zzzzzzzzzzzzzz                                 
#     yzz            zzzzzzzzzzzzzz                                    
#     zzzzz     zzzzzzzzzzzzzzzzz                                      
#     zzzzzzzzzzzzzzzzzzzzzzzz                                         
#     zzzzzzzzzzzzzzzzzzzzz                                            
#      zzzzzzzzzzzzzzzz                                                
#       zzzzzzzzzzz      
#                                              
# =============================================================
# The comprehensive platform for Generative Engine Optimization
# =============================================================