forecast-news shash42
Forecast News Deduplicated daily news corpus used by forecast-sim and future-sim. Snapshot 31,696,086 articles 3,401 daily partitions Coverage: 2016-08-26 through 2026-06-30 Snapshot published: 2026-07-13 Stored data size: approximately 168.8 GB The Parquet files are the canonical complete representation. The repository also contains daily JSONL files where available and compact headline JSON files used by article-browsing workflows. Layout Files… See the full description on the dataset page: https://huggingface.co/datasets/shash42/forecast-news.
- 类型
- dataset
- 许可
- apache-2.0
- 下载量
- 205,384
- 点赞
- 1
- 访问
- public
- 文件
- 0
标签
- 预训练语料
- 文本数据集
- 时间序列预测
- 数据处理
- 多语言语料
摘要
这是一个按日去重的大型英文新闻语料库，包含约3169万篇文章，按日期分区存储（Parquet/JSONL/headline格式），覆盖2016年8月至2026年6月。该语料用于预测模拟（forecast-sim）和时间序列预测（future-sim）等任务，并提供预计算的向量检索表。适用于新闻分析、时间序列预测、事件检测及大量文本数据的研究场景。
README
--- license: apache-2.0 --- # 预测新闻 用于 forecast-sim 和 future-sim 的去重每日新闻语料库。 ## 数据概览 - **31,696,086 篇文章** - **3,401 个每日分区** - 覆盖时间范围：**2016-08-26 至 2026-06-30** - 快照发布日期：**2026-07-13** - 存储数据大小：约 **168.8 GB** Parquet 文件是权威的完整数据表示。该仓库还包含每日 JSONL 文件（如有）以及用于文章浏览工作流的紧凑标题 JSON 文件。 ## 文件布局 文件按日期分区： ~~~tex…