大模型 + 智能城市 = 城市通用智能，港科大（广州）发布最新“城市基础大模型 UFM”综述与方案
【新智元导读】城市通用智能该如何发展？如何解决概念定义模糊、缺乏系统文献述评和通用解决方案等难题？
城市通用智能（UGI）是一种概念化的高级人工智能形式，旨在深入理解、解释并有效管理复杂城市系统与环境。
与通用人工智能（AGI）类似，UGI 有望自主执行与城市环境相关的任何智力任务，具备媲美甚至超越人类的能力，从而将城市转变为更宜居、更有耐受力和更具适应性的空间。
近期，ChatGPT 等大语言模型和视觉大模型等基础模型的发展极大地推动了机器学习和人工智能领域的进步。
这些模型通过在庞大数据集上进行预训练，展现出如上下文理解、复杂问题推理和跨任务适应等前所未有的能力，而城市基础模型（UFMs）是在广泛的多源、多粒度和多模态的城市数据上预训练的大规模模型。
题目：Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models
作者：Weijia Zhang ; Jindong Han ; Zhao Xu ; Hang Ni ; Hao Liu ; Hui Xiong
机构：香港科技大学（广州），香港科技大学
链接：点此查看
仓库：点此查看
UFMs 可以深入理解和适应各类城市数据及任务，通过整合不同类型的城市数据，能够为复杂的城市环境提供全面的洞察，揭示复杂动态的时空模式，提高在各种城市环境中的决策能力，从而有效促进城市通用智能的实现，引领城市系统朝着更加一体化、智能化、响应式的方向发展。
尽管 UFMs 充满了潜力并受到广泛关注，但其发展仍面临诸多挑战，如概念定义模糊、缺乏系统文献述评和通用解决方案等。
因此，本文旨在对 UFMs 研究进行系统性回顾与展望。首先给出 UFMs 的定义并讨论了其独特的挑战。接着，提出了一种以数据为中心的分类法对现有 UFMs 研究进行归类和总结。
此外，本文还介绍了一种构建 UFMs 的新型通用框架，旨在解决所面临的挑战，并广泛适应不同城市任务和环境。随后，本文还探讨了 UFMs 的应用领域，展示其对城市智能的全面提升，并展望 UFMs 未来的发展。
城市基础模型（UFMs）
城市基础模型（UFMs）是基于大规模的多源、多粒度及多模态城市数据预训练的大型模型。通过大规模预训练，其能在城市背景的多种下游任务及领域中涌现出前所未有的能力与适应性。
构建 UFMs 的独特挑战
多源、多粒度和多模态数据整合
UFMs 必须有效整合来自社交媒体、卫星图像、城市传感器和交通记录等多种来源的数据。每个数据源提供从宏观的城市整体模式到具体的局部细节不同粒度级别的数据。
此外，数据的模态差异显著，包括文本、图像和传感器读数等。这些不同类型数据的整合在数据预处理、标准化、对齐融合、模型训练等方面均提出了重大挑战。
时空推理能力
城市环境在空间和时间上是动态变化的。UFMs 需要理解和预测依赖时间和空间的城市复杂现象。这涉及对时间序列和空间分布的复杂建模和能够处理高维时空数据的先进算法。这种时空推理能力在城市背景下尤为关键，而这一能力在其他类型基础模型中往往被较少强调甚至缺失。
适应多样化城市任务领域的能力
城市环境涵盖了广泛的领域，如交通、城市规划、环境监测、公共安全等。每个领域都有其独特的挑战和需求。UFMs 需要足够灵活，以适应不同的领域背景。这不仅涉及模型针对特定任务的定制，还要确保它们能够在不同城市场景中进行泛化。模型需要在复杂性和适用性之间谨慎平衡，以确保 UFMs 在实际领域环境中的有效部署。
UFMs 研究文献综述
本文提出一种数据为中心的 UFMs 文献分类体系，根据城市数据模态类型将现有的 UFMs 研究工作分为六大类：基于语言的模型 (Language-based models)、基于视觉的模型 (Vision-based models)、基于轨迹的模型 (Trajectory-based models)、基于时间序列的模型 (Time series-based models)、多模态模型 (Multimodal models) 及其他模型，并基于文献所侧重的模型预训练和适应技术对这些工作进行介绍。
基于语言的模型 (Language-based models)
该部分研究集中在将预训练语言模型（PLMs）应用于城市语境，主要分为预训练方法和领域适应方法两类。
预训练方法侧重于使用城市特定领域数据开发 PLMs，以超越通用 PLMs 在特定任务上的表现。领域适应方法则主要关注利用提示工程和模型微调等技术将现有 PLMs 适配到城市场景中，充分利用现有 PLMs 中蕴含的世界知识，同时大幅减少所需的计算成本。
基于视觉的模型 (Vision-based models)
该部分研究主要分为预训练方法和领域适应方法两类。预训练方法侧重于利用街景、监控、遥感、天气栅格等城市视觉类数据进行模型预训练。领域适应方法则通过提示工程和模型微调技术，将已有的视觉模型适配至城市场景。
基于轨迹的模型 (Trajectory-based models)
该部分讨论了两类基于轨迹的模型：单模态方法和跨模态迁移方法。单模态方法基于轨迹数据进行预训练和领域适应。预训练方法主要应用于路网轨迹和自由空间轨迹两种数据类别。跨模态迁移方法则侧重于研究大语言模型在轨迹分析任务的应用。
基于时间序列的模型 (Time series-based models)
该部分介绍了基于城市时间序列数据的 UFMs，主要包括单模态方法和跨模态迁移方法。单模态方法通常通过在大规模普通时间序列或空间相关时间序列数据集上进行有监督或自监督预训练来学习时间序列数据的特征和模式。跨模态迁移方法探讨了通过提示工程、模型微调、模型重编程等技术将从一个模态学习到的知识、特征或模式转移到时间序列分析任务中的应用潜力。
多模态模型 (Multimodal models)
该部分讨论了开发 UFMs 来处理多种数据模态以实现对城市动态更全面的理解，也可主要分为预训练方法和领域适应方法两类。其中预训练方法根据可应用领域又划分为单领域模型和多领域模型。而领域适应方法则主要基于提示工程和模型微调等技术。
其他模型 (Other Models)
该部分探讨了除前述模态外，UFMs 在其他城市数据和场景中的探索性研究，如地理数据、路网数据和交通控制等。
UFMs 通用框架
UFMs 的发展目前主要集中于整合有限范围的城市数据类型并应用于特定的城市场景。并且，UFMs 对空间-时间推理以及数据隐私问题的考量尚未得到充分探索。
理想情况下，UFMs 应能够处理多源多粒度城市数据，涵盖各种数据模态，适应广泛的城市任务和领域。
此外，它们还应具备智能的空间-时间推理能力，以深入理解和解释城市环境中的复杂动态和相互联系，同时保证数据隐私和安全，并保障用户的使用体验。
为此，本文提出了一个潜在的 UFMs 通用框架，旨在克服当前挑战并构建未来的多功能 UFMs。
该框架主要包括城市数据整合、多模态 UFMs 构建、空间-时间推理、实用性增强和隐私保护几个核心环节。城市数据整合描述了多源、多粒度和多模态城市数据的收集、预处理和有效整合过程。
多模态 UFMs 构建探讨了为特定城市数据模态建立基础模型的策略，包括对现有基础模型的微调以及为领域特定模态构建基础模型。
空间-时间推理部分介绍了通过学习地理位置嵌入和时间嵌入等来增强 UFMs 的空间和时间推理能力。实用性增强部分讨论了通过构建 AI 智能体来提升用户交互体验，以及智能协调和集成外部工具以提高 UFMs 的效用。隐私保护讨论采用大模型联邦学习等技术来应对这一挑战。
UFMs 应用领域
UFMs 在多种城市场景中展现出巨大的应用潜力和研究价值。
交通运输
智能交通系统正在彻底变革我们的社会，从道路安全、公共交通到交通管理决策各个方面都受到其影响。虽然目前的研究已尝试开发用于处理和分析复杂交通数据的基础模型，但大多数研究侧重于交通系统的特定方面，例如自然语言处理。UFMs 需能有效处理交通数据的异质性和多模态性以适用于更广泛的交通场景。
城市规划
有效的城市规划在打造智能、高效、环保的城市中发挥着至关重要作用。UFMs 能分析大量城市数据、提出创新想法以辅助规划师和政策制定者进行未来规划，并在有效挖掘和分析数字平台上公众反馈，加强参与式规划等过程中提供重大帮助。
能源管理
人工智能已被证明有助于城市能源系统的管理。尽管存在能源数据的敏感性和隐私性等挑战，UFMs 在能源管理领域的应用前景仍然十分光明，联邦学习等隐私保护技术可能是充分利用基础模型潜力的有效方案。
环境监测
快速城市化带来的空气污染、水污染和资源枯竭等问题对公共健康和城市可持续发展构成严重威胁。虽然专门针对气候相关任务的基础模型已被开发，但 UFMs 在更广泛的环境问题，如空气等污染分析中的应用，还远未得到充分探索。
公共安全
公共安全是城市生活的核心，直接关系到市民的福祉。基础模型的构建能够推动犯罪预防、紧急响应和灾害管理等应用的进步。尽管基于大语言模型的方法已在提升城市公共安全方面展现出巨大作用，但 UFMs 在该领域的全部潜力尚待深入挖掘。
总结和展望
本文全面回顾了城市基础模型（UFMs）的相关研究，探讨了其在深化对城市的理解和实现城市通用智能（UGI）方面的潜力。
文章定义了 UFMs，并指出其面临的挑战，提出了一种基于城市数据模态类型的分类方法，为未来研究提供了清晰的框架；同时，文章还提出一个构建 UFMs 的通用方案框架，以解决现有挑战并构建多功能、多模态的 UFMs。
展望未来，UFMs 的发展前景令人振奋。预计未来研究将专注于多模态与多粒度城市数据的融合及分析，以支持更广泛的城市应用。
关键研究方向包括开发能够实时处理城市数据并提供即时见解的 UFMs，以及增强其时空推理能力以提升在动态城市环境中的表现；同时，平衡数据效用与隐私安全成为重大挑战，开发既保护个人隐私又能服务公众利益的模型，对于确保伦理的发展城市智能至关重要。
我们期待 UFMs 推动城市生活朝向更智能、更有耐受力和更具适应性的未来。
参考资料
https://arxiv.org/abs/2402.01749
本文来自微信公众号：新智元 （ID：AI_era）