Meta公司悄然发布了一款名为Meta External Agent的网络爬虫，用于搜索互联网并收集大量数据，以供其人工智能模型使用。这款新爬虫类似于OpenAI的GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章和在线讨论组的对话。Meta公司的大型语言模型Llama使用了Common Crawl等来源收集的大型数据集进行训练。尽管Meta已经积累了大量数据，但新爬虫的推出可能意味着公司需要更多数据来支持其AI模型的更新和改进。