标签： 爬虫

IT之家 5 月 11 日消息，据外媒 404 Media 报道，由于 AI 浪潮带来了存储硬件涨价潮，目前互联网档案馆（网络时光机）和维基百科的维护成本正大幅上涨。 以互联网档案馆为例，目前其拥有 … 继续阅读 消息称AI浪潮致互联网档案馆/维基百科维护成本大幅上涨

IT之家 4 月 14 日消息，据 Wired 报道，本月，《USA Today》刊发了一篇出色的报道，揭露了美国移民与海关执法局如何拖延披露其拘留政策影响的关键信息。报道作者利用互联网档案馆（Int … 继续阅读 为防AI训练滥用其内容，多家美国主流媒体封禁互联网档案馆时光机工具

IT之家 4 月 7 日消息，有诉讼称苹果使用了包含数百万条 YouTube 视频的数据集训练 AI 模型。据科技媒体 MacRumors 发现，Ted Entertainment、Matt Fish … 继续阅读 苹果、亚马逊、OpenAI遭起诉，被指爬取YouTube视频训练AI

豆包大搞AI电商，OpenAI却快要搞不下去了。 最近几天，OpenAI被曝出放弃了让用户在App内直接购物。以后AI给用户推荐商品后，还是得按照老规矩，跳转到零售商的App或网站才能购买。 Open … 继续阅读 ChatGPT“放弃”电商，豆包偏向虎山行

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 用OpenClaw挂机，抓取网页时频频翻车的烦人bug终于有解了。 一个名为Scrapling的数据采集神器，几乎一夜之间就成了OpenClaw … 继续阅读 OpenClaw最强外挂出现：小龙虾抓不到数据有救了！

IT之家 2 月 22 日消息，据科技媒体 The Verge 昨天报道，谷歌曾在去年末起诉爬虫工具开发商 SerpApi，指控其通过“欺骗性手段”抓取谷歌搜索结果，窃取大量版权内容。 IT之家在此援 … 继续阅读 爬虫公司SerpApi反诉谷歌，称“谷歌才是全球最大爬虫”

IT之家 2 月 14 日消息，Cloudflare 当地时间 12 日宣布推出 Markdown for Agents 功能，可从源头将 HTML 格式的网页内容转换为更适合 AI 爬虫或智能体利用 … 继续阅读 Cloudflare推出Markdown for Agents：改进网页内容对AI易读性

谁能想到，2026 年第一款热销设备，是被 OpenClaw 带飞的 Mac Mini——一个 一直以来在苹果产品序列里，都不温不火的存在，就这样硬生生地被拉了起来。 OpenClaw 的全能就不再赘 … 继续阅读 面对 OpenClaw，苹果选择刀背藏身

IT之家 1 月 13 日消息，通常情况下，引用其他网站内容的人工编辑会附上消息原始信息来源，以便读者参考原文内容，从而为原始平台带来访问流量，这构成了互联网长期运行的“隐性契约”。 然而在当下 AI … 继续阅读 消息称Anthropic及OpenAI的AI爬虫“蚕食”互联网 内容网站被“吸血”后回报寥寥