一文读懂现代GPU架构：从晶体管到AI算力的硬核拆解
现在我们用的GPU早就不是当年只用来画游戏画面的显卡了，从AI大模型训练到科学模拟，所有高算力需求的场景里，GPU都是绝对的核心。 今天我们就拿NVIDIA RTX 30系用的GA102芯片来举例，一层一层拆开讲清楚，现代GPU到底是怎么设计出这么恐怖的算力的。 1. GPU算力的增长有多夸张？ 先来直观感受一下GPU这三十年的进步： 1996年跑《超级马里奥64》的3D画面，只需要每秒1亿次计
标签专题 · 共 3 篇文章
# 并行计算
关于「并行计算」的技术文章、设计资料与工程师讨论，持续更新。
3
篇文章
10
人关注
180
次浏览
AI Infra 基础知识 - NVLink 入门
NVLink是一种专有系统互连硬件，可促进多个 Nvidia GPU 和支持CPU之间的一致数据和控制传输。 概述 NVLink 于 2014 年初发布，旨在作为 PCI Express 的替代解决方案，具有更高的带宽和附加功能（例如共享内存），专门设计用于与 Nvidia 自己的多 GPU 系统的 GPU ISA 兼容。在推出 NVLink 和 Pascal（例如Kepler）之
给你的Python加加速：一文速通Python并行计算
在数字化时代，数据处理和分析已经成为各个领域的核心需求。为了提升计算效率，我们常常会使用并行计算技术。与传统的串行执行模型不同，并行计算可以划分成时间并行和空间并行。时间并行就是流水线技术，空间并行使用多个处理器执行并发计算。目前以研究空间并行为主。从空间并行的角度来说，并行计算将一个大任务分割成多个子任务，每个子任务占用一定处理资源。并行计算中不同子任务占用的不同的处理资源来源于