登录
/
注册
首页
论坛
其它
首页
科技
业界
安全
问答
标签
导读
关于
博客
发1篇日志+1圆
记录
发1条记录+2圆币
发帖说明
登录
/
注册
账号
自动登录
找回密码
密码
登录
立即注册
搜索
搜索
关闭
CSDN热搜
豆瓜网
精品问答
技术交流
资源下载
本版
帖子
用户
软件
程序
教程
代码
VIP申请
网盘
联系我们
标签
道具
勋章
任务
设置
我的收藏
退出
腾讯QQ
微信登录
返回列表
首页
›
资源区
›
问答
›
帮我写一个屏蔽openai 蜘蛛抓取的robots
帮我写一个屏蔽openai 蜘蛛抓取的robots
[ 复制链接 ]
新程序
前天 14:30
User-agent: GPTBot Disallow: /
User-agent: ChatGPT-User Disallow: /
复制代码
在robots.txt文件中,User-agent: * 和 Disallow: 的组合有特定的含义:
User-agent: *
: 这里的 * 是一个通配符,表示这条规则适用于所有网络爬虫(spiders 或 bots),除非后续有针对特定爬虫的更具体的规则覆盖它。换句话说,它是对所有未明确指定的爬虫设置一个默认规则。
Disallow:
: 这一行指定爬虫不能访问的路径。如果 Disallow: 后面没有具体路径(即为空),表示允许爬虫访问网站上的所有内容。这是因为 Disallow 没有禁止任何具体路径,等同于“没有限制”。
综合含义
User-agent: * 搭配 Disallow: 的效果是:
允许所有网络爬虫访问网站的全部内容
。这是 robots.txt 中最宽松的配置,意味着没有对任何爬虫设置访问限制。
如果你想完全禁止所有爬虫访问整个网站,可以使用:
User-agent: *
Disallow: /
复制代码
帮我
一个
屏蔽
openai
蜘蛛
相关帖子
手把手教你打造一个更懂你的AI翻译助手!
CsGrafeq:用C#实现一个几何画板
一个表示金额的数字是 100000000L,这是多少米(多少钱)?【代码可读性实践】
每天一个安卓测试开发小知识之 --- 认识adb
Web前端入门第 85 问:JavaScript 一个简单的 IndexedDB 数据库入门示例
ORACLE如何用一个脚本找出一个用户的授权信息?
一个 .NET 开源、功能强大的在线文档编辑器,类似于 Microsoft Word,支持信创!
分享 mp.jobleap4u.com,一个有温度的求职知识库
如何开发一个高效的智能体
MySQL 29 如何判断一个数据库是不是出问题了?
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
相关推荐
业界
手把手教你打造一个更懂你的AI翻译助手!
0
1038
恶凝毛
2025-08-23
业界
CsGrafeq:用C#实现一个几何画板
0
179
倡粤
2025-08-24
业界
一个表示金额的数字是 100000000L,这是多少米(多少钱)?【代码可读性实践】
0
634
啤愿
2025-08-24
安全
每天一个安卓测试开发小知识之 --- 认识adb
0
302
洪势
2025-08-27
业界
Web前端入门第 85 问:JavaScript 一个简单的 IndexedDB 数据库入门示例
0
1013
挺喽蹂
2025-08-28
安全
ORACLE如何用一个脚本找出一个用户的授权信息?
0
756
洪势
2025-08-28
业界
一个 .NET 开源、功能强大的在线文档编辑器,类似于 Microsoft Word,支持信创!
0
550
施婉秀
2025-08-29
安全
分享 mp.jobleap4u.com,一个有温度的求职知识库
0
198
瞿佳悦
2025-08-29
业界
如何开发一个高效的智能体
0
399
仰翡邸
2025-08-30
业界
MySQL 29 如何判断一个数据库是不是出问题了?
0
169
轧岔
2025-08-31
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
回复
本版积分规则
回帖并转播
回帖后跳转到最后一页
浏览过的版块
业界
代码
教程
发帖
新程序
前天 14:30
关注
2
粉丝关注
418
主题发布
板块介绍填写区域,请于后台编辑
财富榜{圆}
敖可
9980
背竽
9992
凶契帽
9990
4
处匈跑
9988
5
松菊
9988
6
胰芰
9986
7
墨淳雅
9986
8
杭环
9986
9
猷咎
9986
10
柴古香
9986
查看更多