Robots.txt 생성기
검색 엔진 크롤러 규칙을 시각적으로 설정하고 robots.txt를 생성하세요.
규칙 #1
Consider adding a Sitemap URL to help search engines discover your pages.
Robots.txt란?
robots.txt는 웹사이트 루트에 위치하며 검색 엔진 크롤러의 접근을 제어합니다. 올바른 설정은 SEO에 필수적이며, 잘못된 설정은 전체 사이트가 인덱싱에서 제외되는 결과를 초래할 수 있습니다.
주요 기능
- 시각적 User-agent 규칙 편집
- 일반적인 실수 자동 경고
- 전체 허용/차단/AI봇 차단/표준 SEO 프리셋
- Sitemap URL 및 Crawl-delay 설정
- 생성된 결과 클립보드 복사
Robots.txt 생성기 사용 가이드
robots.txt는 검색 엔진 크롤러에게 사이트의 어떤 부분을 크롤링할 수 있는지 알려주는 파일입니다. 이 도구를 사용하면 시각적으로 규칙을 설정하고 올바른 robots.txt를 생성할 수 있습니다.
robots.txt 기본 구조
User-agent(크롤러 이름), Allow(허용 경로), Disallow(차단 경로), Sitemap(사이트맵 URL), Crawl-delay(크롤링 간격)로 구성됩니다. 여러 User-agent 블록을 추가할 수 있습니다.
흔한 실수 방지
Disallow: / 는 전체 사이트를 차단합니다. CSS/JS를 차단하면 렌더링에 영향을 줍니다. Google은 Crawl-delay를 무시합니다. 이 도구는 이런 실수를 경고해줍니다.
FAQ
Related Tools
🔗OG Preview
Social media meta preview🖼️Favicon Generator
Multi-size icon creator🔗Slug Generator
URL slug generator🗺️Sitemap Generator
XML sitemap builder