独立调查媒体 404 Media 遭遇了一场物理意义上的数字洗劫。
未公开身份的 AI 抓取器集群频繁伪造特征,单日向其站点倾泻暴击式请求,强行吞噬 10 TB 数据。留给四位联合创始人的,除了一片狼藉的服务器指标,还有一张单日超过 5,000 美元的云服务带宽穿透账单。
技术公司还在发布会上吹捧大模型的通用智慧,但现实里的算力扩张正显露出粗暴的寄生底色。
| 维度 | 关键事实 |
|---|---|
| 发生了什么 | 自动化爬虫绕过限制单日抓取 10 TB,调查报道被秒级洗稿并在 Google 搜索中反超原创 |
| 为什么重要 | 互联网沿用数十年的 robots.txt 绅士协定彻底失效,技术公司把算力成本直接转嫁给被抓取站点 |
| 谁最受影响 | 独立媒体与专业创作者承担高额带宽费与流量流失,公网读者只能接触到被稀释的二手生成内容 |
| 应对动作 | 404 Media 等核心信源加装强制邮箱与付费墙,主动切断大众传播入口,退回私域生存 |
契约瓦解与算法合谋的逆向淘汰
早期的网络爬虫遵循着心照不宣的规则。站长在根目录写好 robots.txt 文件标明禁区,搜索引擎抓取内容编入索引,返还给网站源源不断的分发流量。这是一种基于互惠的脆弱平衡。
大模型的数据饥渴直接撕毁了这份君子协定。AI 抓取方使用庞大的分布式代理矩阵,频繁更换 User-Agent 标识。只要防火墙拦截一批 IP,新的变种数小时内就会扑上来。这种行为已经脱离了正常的网页索引,本质上是一场带有分布式拒绝服务性质的资源掠夺。
更致命的绞杀发生在分发下游。
404 Media 的调查揭示了一条赤裸的洗稿产业链:记者花费数周核查公共记录写出的独家报道,刚一发布,几秒内就被爬虫扒光。生成式模型迅速重写成文本流畅但抹去信源的资讯,打包分发到批量制造的 SEO 垃圾站点。
Google 官方曾对 404 Media 表示,搜索系统只评估文章的感知质量,不区分内容由人类撰写还是由机器生成。这种看似中立的平台规则,实际上为抄袭者提供了系统性庇护。洗稿矩阵靠着高密度的关键词铺设与分钟级更新,在 Google 搜索与 Discover 信息流里屡屡反超原创报道。
掠夺者凭借零边际成本的盗窃换取流量,留下原创者在原地承担高昂的人工调查与服务器开销。
28%信源加装高墙:防御性割裂公网
面对无法制止的抽血,内容创作者做出了违背互联网开放直觉的选择:主动筑墙。
404 Media 强制要求读者输入邮箱甚至订阅付费才能阅读正文。在黑客论坛上,这种做法招致了破坏开放索引的批评。但对一家需要支付薪资和服务器账单的独立机构来说,继续在公网上裸奔无异于慢性自杀。随后他们面向付费用户开通全文 RSS,目的十分直白:绕开被污染的搜索引擎,在人类读者之间重建一条点对点管道。
防御意识的断层在全网格外明显。大量传统出版商甚至没有阻拦正在全面扫荡网页的 ClaudeBot,仅仅封锁了几年前的过时爬虫。
调研数据显示,全网抽样域名中仅有约 5% 到 7% 限制了 AI 抓取。但在那些持续产出高价值独家信息的关键信源里,已经有 28% 主动拉起了防御门槛。
退守不仅发生在媒体端。商业机构为了操控 ChatGPT 和 Google AI 的生成倾向,雇佣水军前往 Reddit 社区批量注水,导致 r/biohackers 等硬核板块不得不收紧发帖门槛。优质内容生产者为了防止成为模型的投毒原料,正集体逃离公网。
寄生版税与现实追踪:数字掠夺的泛化
数据寄生并未止步于文字抓取,它正在流媒体与物理硬件中同步蔓延。
在 Spotify 平台上,大量冒用真实独立音乐人名字的生成式音轨充斥曲库。黑产团伙利用自动化上传通道,生成粗劣的音频并伪装成原作者发布,再配合刷量脚本套取版税池。平台为了维系内容资产总量睁一只眼闭一只眼,而独立音乐人的版税分成被直接稀释,个人声誉还要为算法垃圾买单。
在物理设备端,环境计算的普及加速了监控边界的模糊。新款 Apple Watch 搭载的 Siri Recap 和常驻拾音功能,让麦克风向全天候录音滑移。
更危险的环节在于硬件标识与公共监控网络的对接。监控服务商 SignalTrace 将随身蓝牙标识符与车牌识别摄像头直接打通。车辆驶过路口时,车牌与车内人员佩戴的 Apple Watch 或 AirPods 蓝牙广播在后台交叉比对,原本匿名的个体轨迹瞬间被去匿名化。
从文本、音频到现实定位,技术公司正把外部世界的生产物作为免费养料,将算力带来的损耗转嫁给个体。
杂烩汤化的公网与无解的公地悲剧
天下熙熙,皆为利来。这一轮技术扩张最讽刺的地方,在于它正在摧毁哺育它的土壤。
这与英国早期的公地圈围历史并不完全一样。当年的领主圈地是为了将土地私有化以提升羊毛产出,而今天的 AI 掠夺更像是一场无节制的过度放牧。大模型厂商将公开互联网视作无主荒原,过度索取高质量语料,却从未建立任何反哺机制。
当平台机制只根据点击和速度分配收益,低成本洗稿就会彻底绞杀严肃核查。
独立媒体退回付费墙,核心社群收缩权限,普通读者在公开网络上能接触到的信息正在迅速劣化。留在高墙之外的,将只剩下一锅由机器生成、机器洗稿、再由机器喂养自己的互联网杂烩汤。
城门紧闭不是守门人的傲慢,而是信源在食腐者环伺下的无奈自保。如果分发平台不从利益底层重构防盗与分成规则,继续将寄生洗稿视作中立竞争,那么公网最终剩下的,不过是算法反复反刍的残渣。
