【大模型基础设施工程】03:CUDA 生态——cuBLAS、cuDNN、NCCL、Triton、CUTLASS
从 nvcc 到 Triton,把 NVIDIA 软件栈的每一层拆给大模型工程师看,顺便谈谈 ROCm、CANN 为什么一直追不上。
从 nvcc 到 Triton,把 NVIDIA 软件栈的每一层拆给大模型工程师看,顺便谈谈 ROCm、CANN 为什么一直追不上。
从 CPU 与 GPU 的架构差异出发,讲清楚 SM、Warp、Tensor Core、HBM、NVLink 的工程含义,并结合 Roofline、FlashAttention 与国产算力栈,给出大模型工程师能直接上手的 GPU 心智模型。
超时重试会让支付扣两次、退两次。本文按 Stripe 文档、IETF 草案与 Seata 实现拆解 Idempotency-Key 状态机、业务唯一键、2PC/TCC/SAGA/Outbox 的取舍与空回滚防悬挂,结论是每一跳都必须可安全重试。
主流推理引擎的架构、性能、生态深度对比,给出工程选型与落地决策依据。
Nova 是 chat.nvim 的 Android 客户端,让你在手机上继续 Neovim 中的 AI 对话。
面向中国工程团队的大模型基础设施系列。从 GPU/CUDA/互联、训练框架与 3D 并行、vLLM/SGLang 推理引擎、量化与推测解码、RAG/Agent 到服务化、网关、可观测性与安全合规,覆盖 LLMOps 全链路。
面向工程师的大模型基础设施开篇地图,覆盖 2022 到 2026 的工程分水岭、五层工程栈、训练与推理的工程差异、中国与全球行业版图以及成本曲线。
被动辞职满一年(<–你现在已经用这个事件作为标志来开始新的年号了吗!),现在看来过去的一年确实是颇为有趣的一年。日常的蝇营狗苟虽然少不了,善于纠结于这些的我似乎也没有变得更开心,但是要说这一年值不值的话。。。那简直太值了啊!Give me more 摩多摩多! ⚠️ 警告:虽然不是我本意,但是这篇的前半竟然有点中年油腻感。斗龙的勇者终于活成了恶龙的样子。。。 来自漫画《葬送的芙莉莲》第31话——这作以每篇章开头都采用“欣逝纪”纪年法而出名。我的最近几篇博客都是这种文风。。。 退休 # 虽然到现在已经1年
这是一篇转自我本人小红书的repo 剧院&物料: 东莞一家新开的剧院(东莞松山湖展演中心),真的可以说 […] 【玛蒂尔达】小小的孩子也有大大的力量 最先出现在 Abyss的小屋 。
null 润泽 雨生百谷,萍与水各映半边。 今日4月20日,太阳行至黄经30°,岁次乙巳,春信第六声。 萍绿池畔,而杨花落尽春去;鸠鸣桑巅,而青茶新焙暖人。 天地以“谷”为名,落“雨”成诗,人间自此有了生养的底色。 此刻,不妨: 把希冀撒进春雨,润一亩心田的芽; 把暮春与浅夏对折,让成长正好落在其间; 把脚步调成两拍,一半给耕耘,一半给收获—— 纵使绿意盎然,亦有一片生机在你眸间。 愿我们: 在第一场谷雨里,学会滋养; 在第一声鸠鸣拂羽时,学会勤勉; 于暮春最后一驿站,收下这一枚“谷雨”的邮戳, 然后,携满仓水泽,
在时时使用多个 Codex/Copilot/Claude/Qoder 编写代码之后,我第一次明显感觉到,整个产品推进的节奏都被拉快了。
在时时使用多个 Codex/Copilot/Claude/Qoder 编写代码之后,我第一次明显感觉到,整个产品推进的节奏都被拉快了。
2026年4月18日,三月三活动还是跟以往一样,一直宣传民歌湖,但是我还没去过。抵达时,电动车已经停满了,过马路也需要交警管控,沿湖的道路已经堵满。虽然有着南宁民歌湖的演出表,但实际情况很乱很复...
排查 curl 通过 stdin 传递请求体时的长度限制问题,并给出解决方案。
覺得有時候做的很奇妙的夢,可以來紀錄一下。是說能讓我記住的夢,通常都很 … 不堪入目?一定都和血腥暴力色情有關。什麼殺人遊樂園,每個人都很開心的坐上各種自殺遊樂器材。砍頭生存戰,用各種武器把對手頭砍掉,我還記得被金劍砍是最沒感覺的。或是,就很單純無聊的春夢。 我相信我的夢裡應該不會有個資吧? 發現睡覺的夢都是一段一段的,和《絕佳時間》說的一樣。哪天從這裡挑幾篇畫成短篇漫畫,看可不可以擊敗藤本樹 x)。 旅行 2026-04-15 某天午覺夢到的,原本以為這場夢做了超久,沒想到只做了差不多兩到三小時。 夢見了某個 B
本文为课堂学习笔记整理,具体指令行为以实验讲义和上机验证为准。
前言 本篇是对 2026-03-30 到 2026-04-19 这三周生活的记录与思考。 清明假期没出门,在家窝着写代码,清掉了很多 TODO,久违地感受到 Vibe Coding 带来的快乐;用 Impeccable 把 Web3Insight 还有一些网站重新设计了一下,效果出乎意料地好;也开始用 Multica 重新梳理了自己各个项目的工作流,是自己很满意的 Agent 协作形态了,很沉迷;陪学姐去江阴参加了游泳比赛;还有很多有意思的事。 基于 Multica 的 Agent 开发工作流 之前 Xuanwo
David Bowie - Low、Múm - Finally We are No One、打字機和專注、Angine de Poitrine 的「中之人」、《惡之華》(押見修造的漫畫)、《Binary Hacks Rebooted》
丙午辛卯二月记:更多驳杂的念头。
本期内容聚焦AI智能体从演示走向生产系统所需的基础设施建设,包括Cloudflare补齐计算、存储、编排、路由全栈能力,模型公司向操作系统演进,执行层工具解放至全设备,记忆系统从存储转向持续再解释,以及视觉Agent、AI社交等新范式的出现。
日常所见的花花草草,如果没有贴铭牌,几乎不认识。今天才想起或者说有兴致拍张照问问AI。拍下的第一张照片便是楼下的杜鹃花。 在河边的树下挖土时,再次有了探索的欲望,于是又拍下一些遇见的花草。
1Password涨价33%后,我差点转向Bitwarden,但一个关键问题让我最终选择继续续费。本文详细对比主流密码管理器,分析Passkey绑定风险,并分享如何用YubiKey提升安全性以及成功获取25%续费折扣的经验。
我通常写书评的对象都是名著或畅销书。即便中文读者相对陌生的,大抵也是在外国有一定知名度的书。所以我习惯了开门见山。但这次要谈的书是一本绝大多数人都不会去读、甚至压根没听说过的自出版游记,容我先铺垫一下。 我经常自诩为野生作家。「野生」意味着非主流,不为人知。我没在传统报刊杂志上发表过文章,也没经由正规商业出版社出版过任何书籍。但我并不对「作家」二字感到害羞,因为我十多年来笔耕不辍,写的随笔、小说、书评、游记加起来有上百万字。像我这样的人其实很多。高等教育普及,普罗大众都有能力写作,这并不是一小撮精英的专利。再加上互
本文来自 依云's Blog ,转载请注明。 Wayland协议会告诉客户端程序缩放比率应该是多少,支持的就按指定的来,不支持的Wayland compositor就负责把窗口缩放到合适的大小。但因为是客户端渲染成位图之后,再由Wayland compositor缩放,大小是合适了,但却模糊了起来。然而很不幸地,Xwayland就是那个不支持Wayland缩放机制所以被Wayland compositor强行缩放的Wayland客户端。 但其实在X的时代,各个GUI框架都发展出来了自己的一套指定缩放的机制。比如一些
最近一个星期的情绪算是稳住了,还好还好。而且摆脱了一个一直缠着我的抑郁症患者——还是很好办的,随便说句硬点的话就可以了, …
从面壁智能轻松愉快的实习离职后,我入职了字节跳动。高强度的工作、学校的紧急任务和科研压力让我一度崩溃,难以适应。经过一周的挣扎,我逐渐熟悉了环境,但依然怀念面壁那种工作生活平衡的氛围。
分享了 12 篇文章,12 个开源项目
昨天申请并通过了OpenAI的个人认证,加上前段时间以开源贡献者的身份申请了OpenAI和Anthropic的赞助,分别获取了两家的max会员半年,我会写几篇文章,分别分享一下Codex Security的使用体验、Codex和Claude Code的对比、GPT Cyber模型的使用体验等。 这篇文章先介绍一下Codex Security的使用体验,因为扫描额度有限,我只测试了几个仓库,...
对照 JDK 7/25 的 ConcurrentHashMap、NonBlockingHashMap、Linux rhashtable 与 Go sync.Map 的源码,说明并发哈希表真正难的是扩容;实测桶长分布、扩容克隆比例与树化条件,并给出通过 TSan 的分裂有序表实现。
对照 Go 1.25、crossbeam-channel、DPDK v25.11 源码,拆解有界 channel 的一把锁、逐槽 stamp、两阶段预留三种环与直接交接、通知重试两种唤醒;实测线程停顿、丢失唤醒、公平性与 TSan 报告。