微软亚洲研究院

août 14, 2024

作者：通用人工智能组 编者按：大语言模型在未使用多语言平行语料库进行预训练的情况下，依然表现出了卓越的多语言能力。但大模型如何处理多语言文本的底层机制仍是一个具有挑战性的问题。对此，微软亚洲研究院联合中国人民大学提出了语言激活概率熵，用于识别大模型中的语言特定神经元。该研究为理解和探索大模型的多语言能力提供了重要依据，并被自然语言处理领域的国际顶级学术会议 ACL 2024 收录。 全球共有超过7…

août 9, 2024

编者按：生命健康是人类永恒的探索主题，也是医疗工作者不懈追求的使命。迈入全新的人工智能时代，如何让机器学习算法和人工智能大模型助力医疗健康行业发展，是学术界和产业界共同关注的议题。然而，从计算机领域看医学行业，与从医学需求出发寻找技术突破之间必然存在着认知偏差。身为具有执业医师资格的医学博士，微软亚洲研究院（上海）高级研究员王子龙对此有哪些独到的见解？他又将如何在人工智能与医疗健康之间架起创新的桥…

août 7, 2024

编者按：欢迎阅读“科研上新”栏目！“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里，你可以快速浏览研究院的亮点资讯，保持对前沿领域的敏锐嗅觉，同时也能找到先进实用的开源工具。 下周，自然语言处理领域的国际顶级学术会议 ACL 2024 将在泰国曼谷举办。本届大会上，微软亚洲研究院共有14篇论文入选，这一期的“科研上新”栏目精选了其中的六篇为大家进行简要介绍。 论文链接：https:…

juillet 31, 2024

作者：SuperBench团队 编者按：近日，来自微软亚洲研究院的研究员们和来自微软 Azure 云平台的工程师们联合发布了一项开创性的、聚焦云 AI 基础设施高可靠性的研究工作：SuperBench 系统。该系统通过主动验证的手段解决了云 AI 基础设施中难以捉摸的“灰色故障”问题。这一研究工作已被全球计算机系统领域的顶级学术会议 USENIX ATC 2024 接收，并荣获最佳论文奖。Supe…

juillet 30, 2024

编者按：欢迎阅读“科研上新”栏目！“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里，你可以快速浏览研究院的亮点资讯，保持对前沿领域的敏锐嗅觉，同时也能找到先进实用的开源工具。 论文链接：https://arxiv.org/abs/2404.12876 (opens in new tab) 近年来，深度学习的显著进步极大地推动了计算机视觉领域的发展，尤其是视觉 Transformer…

juillet 25, 2024

作者：系统组（上海） 编者按：基于大语言模型（LLMs）开发的应用目前主要使用公共 LLMs 服务提供的 API 进行，但是这些 LLMs 服务的 API 设计以请求为中心，缺乏应用级信息，难以有效优化整个应用流程，影响任务的端到端性能。为此，微软亚洲研究院的研究员们开发了一个专注于 LLMs 应用端到端体验的服务系统 Parrot，它具有减少网络延迟、提高吞吐量、减少冗余计算等优势。Parrot…

juillet 23, 2024

作者：科学智能中心 编者按：分子动力学模拟在新药开发、材料设计等领域发挥着重要作用。近年来机器学习技术的不断发展，使得其对分子间相互作用的刻画也更加精确，但却面临着随分子体系扩大，计算效率降低和长程信息丢失的难题。在此背景下，微软研究院科学智能中心同耶鲁大学、西安交通大学提出了一种名为 LSR-MP 的新型分子动力学机器学习框架。该框架结合了物理洞见和几何深度学习，通过在原子/分子片段上分别建模短…

juillet 22, 2024

作者：苗又山 编者按：深度学习技术已经在图像识别、语音识别、自然语言处理、搜索推荐等多个领域不断展现出巨大的应用价值。然而，随着模型规模的不断增大，深度学习模型的训练变得耗时且昂贵，设计最优的并行策略组合以提高其在多设备上的执行性能是目前该领域的一大挑战。在此背景下，微软亚洲研究院提出 nnScaler 技术，通过一套并行化原语和策略限定搜索的方法来寻求最佳的并行策略组合。这一尝试为寻求深度学习并…

juillet 19, 2024

作者：量子位 编者按：激活稀疏性是解决大语言模型（LLMs）在推理阶段出现的计算成本高、内存占用大等问题的有效方法，可以有效减少激活张量中激活元素的数量。然而该方法无法实现 LLMs 激活的完全稀疏性，从而限制了推理阶段的效率提升。 对此，微软亚洲研究院提出 Q-Sparse 实现了 LLMs 激活的完全稀疏性。该研究不仅揭示了包括推理优化规模法则（inference-optimal scalin…