サイエンス
“デジタルディケイ”により、2013年移行のWebページの40％が消滅していることが明らかに
インターネット上に一度公開された情報はずっと残るものと思われがちだが、どうやらそうでもないらしい。Pew Research Centerによる新たな調査では、2013年以前に作成されたWebページの約40％が「デジタルデ […]
Overview
最終更新: 2026年7月11日Common Crawl is a 501(c)(3) non-profit organization that crawls the web and freely provides its archives and datasets to the public. Its data is widely used by researchers and companies to train large-scale machine learning models, including LLMs.
External Mentions
10 件- arXiv Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality
- arXiv Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails
- arXiv FOLD: Fuzzy Online Deduplication for Very Large Evolving Datasets via Approximate Nearest Neighbor Search
- arXiv IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages
- arXiv Understanding Data Temporality Impact on Large Language Models Pre-training
- Hacker News Large language model data pipelines and Common Crawl
- Hacker News Common Crawl
- Hacker News Common Crawl
- Hacker News Triv.io donates URL index to Common Crawl
- Hacker News Blekko donates search data to Common Crawl