
j9九游会老哥俱乐部ღღ!J9官方ღღ,J9九游会ღღ,渔具J9游会ღღ,九游会j9登录ღღ,【新智元导读】AI能像科幻电影中的先知一样预测未来吗?一个名为「Prophet Arena」的全新基准测试ღღ,正通过预测真实世界事件来评估AI的「预言」能力ღღ。
在昨晚的男篮亚洲杯冠军争夺战中ღღ,中国男篮虽以1分之差惜败澳大利亚ღღ,但已是近十年来的最好成绩ღღ!
今天要介绍的Prophet Arena就是一个通过实时更新的真实世界预测任务来评估AI系统预测智能的基准测试风吹亚吉拉ღღ。
为「人机协作」而生ღღ:你可以给AI提供线索ღღ,看看它的预测如何变化ღღ;AI也会把它的思考过程告诉你ღღ。
Prophet Arena从像Kalshi和Polymarket这样的预测市场平台挑选热门ღღ、多样且周期性的真实事件作为考题ღღ。
Kalshi是一家美国的金融交易所和预测市场平台风吹亚吉拉ღღ,是美国第一个受美国商品期货交易委员会(CFTC)监管的ღღ、专注于交易「事件结果」的交易所
AI模型们利用搜索引擎ღღ,像侦探一样收集关于某个事件的新闻报道ღღ,整理成一份精炼的「情报简报」ღღ。同时ღღ,也会把当时的市场价格(可以看作是群众的集体智慧)放进去ღღ。
拿到相同的情报后ღღ,每个AI模型都要提交一份详细的「预测报告」ღღ:对所有可能的结果给出一个概率分布ღღ,并附上长篇大论的理由ღღ,解释自己为什么这么看ღღ。
事件结束ღღ,结果揭晓ღღ。会用一套专业的指标来评估AI的预测到底有多准ღღ,然后更新在一个实时排行榜上J9九游会官网ღღ。
排行榜主要看两个指标ღღ:一个是衡量准确度和校准度的Brier分数(越高越好)ღღ,另一个是模拟真实投注的平均回报(看谁能赚钱)ღღ。
除了上述两个核心指标外ღღ,Prophet Arena还采用了受统计学和心理测量建模启发的高级评估方法J9九游会官网ღღ,如项目反应理论(Item Response Theoryღღ,IRT)和广义Bradley-Terry(BT)模型ღღ。
比如一场温布尔登网球赛ღღ,赛前市场普遍认为选手保罗有84%的胜率风吹亚吉拉ღღ,甚至在开赛前一度攀升至95%J9九游会官网ღღ。
比如在「AI监管法规会在2026年前成为联邦法律吗?」这个事件上ღღ,市场认为可能性只有25%ღღ。
保守派代表Llama 4 Maverickღღ:它也看到了同样的信息ღღ,但认为立法过程复杂又缓慢ღღ,所以只给出了比市场略高一点的35%ღღ。
例如在圣地亚哥与多伦多的美国职业足球大联盟比赛中ღღ,o3-mini在1美元的投注上获得了9美元的回报ღღ。
根据市场数据和新闻来源ღღ,o3-mini预测多伦多获胜的概率为30%ღღ,而市场隐含的概率仅为11%(价格=0.11)ღღ。
尽管多伦多是不被看好的一方ღღ,但AI识别到了正的期望值ღღ,并由于其最大的优势比率30%/11%≈3ღღ。
就像在上面那场足球赛中ღღ,市场认为多伦多队只有11%的胜算ღღ,但o3-mini经过分析认为有30%J9九游会官网ღღ。
数值越低(颜色越深的单元格)表示概率推理更接近一致ღღ;数值越高(颜色越浅的单元格)则表明分歧越大ღღ。
与Kimi K2ღღ、o3和Llama 4 Maverick等模型相比ღღ,它的L2距离始终高于0.7J9九游会官网ღღ,这表明其可能采用了不同的校准方式或内部决策机制ღღ。
在频谱的另一端ღღ,诸如Grok-4和GPT-5之类的模型经常作出高度一致的预测ღღ,L2距离通常低于0.3ღღ。
换句话说ღღ,这张图展示了AI预测的多样性ღღ:有些模型形成「群体共识」ღღ、有些模型像「特立独行的异议者」ღღ。
设想ღღ,AI系统将成为预测市场的积极参与者ღღ,将人类的直觉洞察与AI强大的数据分析能力相结合J9九游会官网ღღ,最终提升整个社会的集体远见ღღ,为那些高风险的决策提供更可靠的依据ღღ。
毕竟ღღ,如果说语言模型的下一步是预测下一个词风吹亚吉拉ღღ,那么它的终极形态风吹亚吉拉ღღ,或许就是预测这个真实世界的下一个事件ღღ。
特别声明ღღ:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布ღღ,本平台仅提供信息存储服务ღღ。
雷军深夜畅聊ღღ:小米是被黑最惨的车企之一ღღ;小米16改名17ღღ,产品力非常炸裂ღღ;国产汽车都在进步ღღ,没必要搞得很难看
理想i6正式上市ღღ:只有一个配置风吹亚吉拉ღღ,售价24.98万元ღღ,共5种颜色ღღ,发布会上展示车内吃泡面J9九游会官网ღღ、躺平
HighPoint Rocket 7638D发布 支持NVIDIA GPUDirect技术的PCIe交换机