Back to list

AI 时代,组织结构本身就是技术能力

Published October 31, 2026Updated November 1, 2026

1年前就萌生的一个问题,今天终于有时间落笔思考:为什么有些公司拥有大量优秀的算法、工程和基础设施人才,也投入了巨额算力,最终却未必能持续产出领先的技术成果?我觉得组织结构可能是一个经常被低估的因素。

过去2年,我经历了两种比较典型的研发组织。一种是国内最早一批大模型团队之一,以下简称 E 团队。这里有每个方向很强的专业人才,但也有比较明确的部门边界和信息保密隔离机制。另一种是组织调整后的 A 团队,架构传统、层级明确、分工清晰,但决策基本自上而下,同学们很少有机会自主提出问题、改变技术路线。两种组织的问题很不一样,但随着我对大模型研发全链条的理解逐渐深入,之前萌发的困惑也慢慢明晰了:大模型研发这个跨团队、跨领域的复杂协作工作,过去围绕专业分工建立的组织方式,协作效率逐渐跟不上了。

一、部门边界与认知边界

先举一个很直观、训练和推理同学都能感受到的例子。算法团队希望模型更好收敛,训练过程更稳定,最终效果更好。推理 Infra 团队则希望服务有更高的吞吐、更低的 TTFT、更快的解码速率。为了提高推理效率,Infra 团队自然会希望模型结构更加稀疏,专家路由更加高效、均衡,减少不必要的计算、访存和通信开销。

这两种诉求都很合理。但模型结构会同时影响训练和推理。更大的模型尺寸可能带来更好的效果,也可能增加训练成本和推理负担;更稀疏的结构可能改善计算效率,也需要考虑收敛稳定性、负载均衡和模型能力。因此,模型结构本身就是一个需要算法和 Infra 共同参与的系统性决策。

在过去,算法团队按照训练效果和收敛表现选择模型,推理团队再接手优化部署。双方通过上下游关系互提需求,过程中还可能存在信息隔离。最终大家都盲人摸象式地完成了自己的工作,模型的整体性价比却未必理想。甚至可能出现这样的结果:模型规模越来越大,效果比小尺寸模型提升有限,推理成本却高出很多,最终谁都用不起。但从问题最本质出发,大家真正追求的目标其实是一致的:多快好省。 训练成本、模型效果、推理吞吐、服务时延和用户实际使用成本,都应该放在同一个目标下权衡。每个环节的局部最优,并不自动等于整个模型和服务体系的最优。这也是大模型研发和传统软件工程的一个重要区别。

过去几十年,大型研发组织形成了一套成熟的工作方式:计算团队负责计算,网络团队负责网络,存储团队负责存储;站在鄙视链最顶端的算法团队提出需求,数据团队提供数据,Infra 团队交付基础设施。当技术路径相对稳定、问题可以提前拆解时,这套方式能够支撑很大的业务规模。但前沿 AI 研发有一个麻烦之处:很多关键问题在解决之前,根本无法准确地拆分。模型结构会改变通信模式,通信能力会影响并行策略,并行策略又会影响显存占用和训练效率。数据的长度分布会改变计算负载,数据配比又会影响模型收敛。一个看起来属于算法的问题,最后可能需要调整通信和存储实现;一个看起来属于推理的问题,也可能需要重新设计模型结构(从传统组织分工看,这简直有点痴心妄想)。如果组织要求每个部门只对自己的局部指标负责,整体目标就很容易被拆散。设想一个训练任务的整体效率不理想。Infra 团队拿出监控,GPU 利用率并不低;网络团队检查链路,带宽和丢包率没有明显异常;存储团队完成测试,吞吐也符合预期。每个团队都能证明自己交付的服务合格,但模型完成一次实验仍然需要很长时间。

实际问题就藏在这些交界处。部门边界至少是可见的,可以通过联合项目、调整汇报关系来改变。认知边界则更加隐蔽。算法同学提出需要更大的 Batch,Infra 同学接到的是扩容需求,却未必知道背后究竟在验证什么训练假设。Infra 同学反馈通信开销太高,算法同学收到的是一个限制条件,却未必知道调整数据布局或专家放置方式,就可能让原来的方案重新可行。双方都很认真,但传递过去的往往只有结论,支撑结论的假设和上下文没有一起传递。工单擅长传递已经定义清楚的问题。前沿研发经常需要一群人先坐下来,弄清楚问题究竟是什么。

我在 E 团队感受到的主要是信息被部门边界切割。团队之间有各自的信息范围,必要的保密逐渐与通用技术知识的隔离混在了一起。一个团队研究过什么、踩过什么坑、为什么这么设计、为什么提这个需求,其他团队不一定能够及时知道。A 团队的问题则在另一个方向。决策和任务基本从上往下传递,自下而上的意见缺少有效的通道。同学们发现问题、提出不同技术方案,甚至希望尝试职责之外的事情,都可能遇到阻力。长期下来,愿意持续提出想法、试图改变现状的人更容易离开。留下来的同学,有些逐渐被磨平了棱角,有些本来就更适应听指挥、按既定要求完成工作。组织看起来越来越有秩序,主动探索的意愿却可能越来越弱。我觉得在这样的组织条件下,持续做出 SOTA 成果是很困难的。前者让人才无法充分交换信息和认知,后者让人才难以发挥独立判断,团队技术活力逐渐萎缩。

二、聪明人的竞争

人才密度高,本身并不保证创新密度高。

聪明人同样会响应组织激励。当晋升要求证明个人贡献,预算需要证明部门价值,管理者的影响力又与团队规模有关时,同学们自然会有动力维护自己的项目和技术边界。帮助其他团队解决关键问题,对公司很有价值,对个人却未必容易形成清晰的成果归属。把自己的经验沉淀成公共工具,可以让很多人少走弯路,但贡献可能分散在别人的项目里。重新建设一套属于自己团队的平台,反而更容易证明本部门的价值。于是,重复建设、信息保留和成果归属争论,都可能成为一套激励机制下的理性选择。

内部竞争当然有价值,不同团队尝试不同技术路线,也可能加速探索。但前提是实验口径能够统一,结果可以复现,资源能够根据实际效果重新分配。如果每个团队都维护自己的评测标准,对失败保持沉默,只展示有利于自己的结果,公司很难判断哪些方向真正值得投入。

这其实也是高密度人才组织面临的一个悖论:每个人都很聪明,都有自己的技术判断,也都希望做出有价值的成果,但当组织激励没有把大家引向同一个整体目标时,个人的理性选择未必能形成组织的最优结果。一个团队可能很努力地扩大自己的影响力,另一个团队也在努力证明自己的价值,最后公司投入了更多资源,系统整体却没有获得相应的进步。

人才密度要转化成创新密度,需要让分享知识、暴露问题和帮助其他团队成功,同样成为值得认可的贡献。

AI 时代又让这个问题变得更加突出。

Anthropic 在 2026 年 10 月发布了一份很有意思的内部研究《How employment is changing at Anthropic》。根据其内部 Agent 遥测数据,到 2026 年 8 月,员工个人使用的交互式 AI Agent 累计运行时长已经达到人类工作时长的约 6 倍。随着 Agent 的普及,公司的人均代码产出、销售人均成交量和合同处理能力都有所提升。但与此同时,人类注意力开始成为新的瓶颈。报告估算,即使是非技术岗位的同学,如果完整阅读自己使用的 Agent 产生的全部输出,也可能占用一半的工作时间。报告还发现,招聘管理者越来越看重候选人的自主性和判断力,相对降低了对特定领域知识和纯执行能力的权重。[6] 这背后的变化值得思考。当一个同学可以同时调动多个 Agent 完成代码开发、数据分析和实验执行,组织的瓶颈就会逐渐转向任务如何定义、结果如何验证、知识如何共享,以及不同工作之间如何协调。如果还沿用过去按照人员执行能力设计的流程,Agent 产生的更多结果可能只是堆积在原来的审查和决策环节。

微软 2026 年 Work Trend Index 也提供了一个有意思的佐证。该研究覆盖 10 个国家、约 2 万名 AI 使用者。微软将组织文化、管理者支持和人才机制等组织因素,与个人态度和行为因素进行比较,前者对受访者自报 AI 价值的统计重要性约为 67%,后者为 32%。这个结果来自问卷调查和统计模型,反映的是相关性,并不能直接理解为因果贡献,但至少说明了一个问题:同样的 AI 工具,在不同组织里可能产生完全不同的价值。一个团队鼓励同学们主动探索、共享经验、调整工作方式,另一个团队要求所有事情严格按照既定流程执行,最终 AI 带来的收益自然会有很大差异。[7]

三、技术品味与领导者的判断力

即使组织允许跨部门协作,也还需要回答一个问题:大家获得自由之后,应该把时间和资源投入什么方向?

这里就涉及技术品味。我理解的技术品味,首先来自足够广的知识面,以及对最终目标和问题本质的理解。如果只了解自己负责的模块,看到问题时自然容易在现有实现中寻找答案。知识面足够宽,才有机会跳出当前实现,理解算法、计算、网络、存储和模型负载之间的关系。我比较认可从第一性原理出发,用奥卡姆剃刀审视技术方案。先看最终目标,再看实现这个目标真正受到哪些约束。哪些复杂性来自问题本身,哪些是历史方案不断叠加留下来的?有没有必要继续增加模块和机制?能不能从根本上改变原来的实现?

DeepSeek 的 3FS 是一个很好的例子。AI 训练和推理需要大量数据读写、检查点保存和缓存访问。传统的存储体系在规模、成本、吞吐和访问方式上会遇到各种限制。DeepSeek 围绕 AI 工作负载设计了 3FS(Fire-Flyer File System),将大量 NVMe SSD 和 RDMA 高速网络组织成共享的分布式存储层。3FS 支持训练数据读取、数据准备、检查点和推理 KV Cache。其设计允许计算节点共享访问存储资源,存储节点和计算节点也可以相对独立地扩缩容。[1]

更有意思的是,在 DeepSeek 的推理部署中,持久化的分页 KV Cache 被放在独立的 3FS 存储集群,而不是保存在各台推理机器的本地存储中。这样,每个 Prefill 节点都可以访问共享的历史前缀缓存,避免缓存亲和性与请求负载均衡之间的冲突;存储资源也可以独立于计算节点扩展。官方部署文档披露了约 100 PiB 的 SSD KV Cache 存储规模,并根据线上前缀复用间隔设置缓存保留时间:Agent 流量约 3 天,聊天流量约 7 天。在当前生产负载和缓存策略下,官方认为这一设计已经非常接近可达到的缓存命中率上限。[2]

这个设计涉及模型推理、缓存策略、存储、网络、负载均衡和资源成本。如果只从传统存储部门的职责分工出发,很难把这些问题放在一起考虑,更难做到这种程度的资源统筹。

再看 DeepSeek V4.1 Flash。Agent 场景有一个明显特点:轮次多、输入超长,历史对话、工具结果和检索内容不断累积;输出则是一轮轮生成的 Token。Prefill 和 Decode 的计算特征并不相同。DeepSeek V4.1 Flash 采用了 Causal Encoder-Decoder 结构,将 40 层 Transformer 分成 20 层编码器和 20 层解码器。每个输入 Token 激活约 8B 参数,每个输出 Token 激活约 16B 参数,以适应输入较重的 Agent 工作负载。[3]

同时,它还使用了压缩稀疏注意力、跨层 KV 复用和 FP4 KV Cache 等设计,将全局 KV Cache 占用压缩到每 Token 890 Bytes,约为上一代 V4 Flash 的四分之一;通过 SWA Bounded Replay(滑动窗口有界回放),持久化 KV Cache 的存储需求进一步降至约八分之一。[3][4] 这里真正值得关注的是,模型结构、Prefill、Decode 和 KV Cache 被放在同一个问题里考虑。模型的设计直接影响推理成本和服务能力,推理服务的实际负载也应该反过来影响模型设计。

这也我深切感受到,优秀的技术判断往往需要跨越好几个传统专业领域。一个人对算法、模型、硬件、网络和存储的理解越充分,就越有机会识别真正的优化空间。

Google DeepMind 对 Research Engineer的岗位定义也很有代表性:这类同学需要同时具备工程、数学和研究能力,在理论与实现之间承担桥梁作用,设计、构建和扩展复杂系统来验证新想法,甚至会共同署名重要研究论文。[8] 我觉得这反映了一种很重要的人才需求:既有足够深的专业能力,又能理解相邻领域,知道怎样把理论假设转化为可运行、可验证的系统。

领导者的技术品味同样如此。领导者需要有足够的技术深度,也需要尽可能扩大知识面,能够判断哪些问题值得投入,哪些方向需要跨领域组织人力,哪些历史设计应该被重新审视。当然,领导者不可能精通所有领域。更重要的是知道自己在哪些地方缺乏认知,能够找到真正懂的人,让专业判断充分参与决策。

还有一点也很重要:新的证据应该能够改变原来的判断。领导者也没必要端着,发现自己判断错了就及时调整,没什么丢人的。团队里有人拿出了更好的方案,应该高兴才对。大家最终是在解决同一个问题,谁的方案更好就用谁的。如果一个领导者只允许团队证明自己是对的,技术讨论很快就会变成对既定决策的维护。

四、团队应该如何组织?

我比较认同一种混合组织方式:专业能力长期沉淀,具体问题跨领域协作,技术决策尽可能下沉。

算法、数据、训练、推理、网络、存储等专业团队仍然需要存在,负责人才培养、技术积累、公共平台和规范建设。同时,围绕具体研究目标,应该组织稳定的小团队,让算法和 Infra 从问题定义阶段就共同参与。例如提升长上下文训练效率、降低推理成本、提高模型在 Agent 场景下的实际效果,都需要多个专业领域共同投入。这类团队需要有相对明确的目标、实验资源和技术决策权。否则,所谓跨部门项目最后很容易沦为需求协调和排期管理。

组织治理也需要有清晰边界。研究方向、算力预算、数据权限和生产安全可以集中管理;具体实验方法、可逆的技术方案和跨模块实现,应该尽可能交给最接近问题的人决定。信息共享也应该有合理的默认策略。敏感数据、模型权重和核心代码按照权限管理,通用技术知识、实验结论和失败经验则应该尽可能流动。

Anthropic Claude Code 团队的实践可以作为一个很有意思的参考。2026 年 6 月,Claude Code 工程负责人 Fiona Fung 分享了他们在 Agent 编码成为默认工作方式后,对研发组织做的一些调整。她提到,原来制定的六个月路线图,因为产品和开发速度的变化,到了第三个月就已经过时了。团队因此从较长周期的规划转向即时规划:先做原型,尽快交给内部同学使用,再根据实际反馈调整方向。团队角色也开始模糊。产品经理开始直接参与代码开发,工程师也会承担过去属于内容和设计团队的工作。Claude 可以处理代码风格、常规缺陷和测试,人类则把更多精力放在安全、法律风险、专业判断和产品品味上。团队保留少数统一原则,同时给各个小组比较大的自主空间,允许他们自己决定工作流程;对于已经失去价值的旧流程,同学们也有明确的权限提出质疑并取消。[5]

这个实践还是挺有意思。它保留了必要的组织原则,同时把大量具体决策交给离问题最近的小团队。团队角色的交叉也让更多人能够直接参与最终产品的构建。

McKinsey 在 2026 年 10 月的一篇研究中,将这种变化概括为从组织架构图走向协作编排图。他们对 700 多名企业管理者的调研发现,在 AI 转型更深入的企业中,越来越多的工作围绕端到端产品、客户旅程和业务流程组织跨职能团队,决策和责任也更靠近价值产生的位置。研究还指出,没有唯一正确的组织架构,关键在于减少不必要的交接,让信息、资源和决策能够更快流动。[9]

我自己接手旗舰模型在线服务,也尝试过这种方式。原团队有 30 多人,接手的时候我只要了 8 人团队。给团队成员开放跨模块代码库权限,定期讨论各模块的设计、开发和演进,同时梳理模型训练各阶段以及训推基础设施的原理和社区实践。大家对整个大模型在线服务请求生命周期逐渐有了更完整的认识,从 API 入口协议、意图识别、输入输出安全、RAG 和链路编排,到推理引擎的高性能计算。日常值守也从备班逐渐过渡到独立承担复杂系统在正确性、时延和稳定性上的保障。

这段时间,我们还对历史在线服务架构做了较大幅度的梳理和简化。和推理团队协同,围绕缓存优化,将在线推理服务的缓存命中率从 70%+ 提升到 90%+,改善了 Agent 多轮和长上下文场景下的推理吞吐与成本效率。

另一个例子是 7×24 小时智能运维 Agent。我们以 log_id 为锚点串联请求全生命周期和多源诊断数据,形成分阶段的故障分析与定位链路,并将已经确认的诊断经验沉淀为案例库,持续校准诊断策略。上线一个月后,典型问题定位耗时从原来的 30 多分钟缩短到 5 分钟以内,原来需要 10 多人协同排查的情况压缩到单人处理,诊断准确率从 70%+ 提升到 95%+。

值班同学半夜被报警电话拉起来,发现问题还不属于自己负责的模块,然后再辗转拉上其他同学一起排查,这种“噩梦”现象也大幅改善了(PS:好家伙,我搁这自卖自夸起来了。)不过值班同学确实真真切切地感受到幸福感了:终于不用因为与自己负责模块无关的报警和故障,在周末或者半夜被拉起来排查问题了。

这看起来只是一个运维工具,背后需要的却是全链路视角、多模块理解和统一抽象。一次故障处理产生的经验,可以被其他同学复用,也可以被 Agent 使用。系统运行时间越长,经过验证的知识就越多。我觉得这件事挺有意义的。它让个人经验逐渐沉淀为团队可以复用的能力,也减少了同学们在重复排查和沟通协调上的时间。

结语

AI 时代,研发工作的复杂性只会继续增加,专业知识也会越来越深。与此同时,很多真正有价值的优化依然发生在专业领域的交界处。E 团队让我看到信息隔离对知识流动的限制,A 团队让我看到缺少自下而上通道对人才主动性的消耗。自己的团队实践也让我确信,开放知识、缩短协作链路、允许同学们自主判断,对复杂研发系统非常重要。

组织需要给专业人才足够的空间,也需要让不同领域的人能够围绕共同目标工作。管理者要有自己的技术判断,也要愿意让一线的证据改变决策。绩效需要认可跨团队贡献,失败经验也应该成为组织的共同资产。

最终,值得观察的其实都是非常具体的事情:

一个算法同学发现推理瓶颈,能不能直接找到存储和网络专家一起分析?

一个 Infra 同学认为模型结构存在优化空间,能不能参与模型方案讨论?

一个一线同学提出了不同的技术判断,能不能获得资源做一次验证?

一个团队帮助其他团队取得突破,能不能得到认可?

一次失败,能不能让整个组织少走弯路?

AI 工具提高了个人执行效率,也放大了知识获取和实验验证的速度。如果组织内部的信息、决策和资源依然按照传统的层级和部门边界缓慢流动,技术进步很快就会遇到新的瓶颈。资金可以买到机器,薪酬可以吸引人才。如何让这些人理解彼此的工作,形成共同的判断,并把分散的专业能力转化为整体进步,才是组织真正需要解决的问题。

组织结构本身,已经成为 AI 时代的技术能力。

参考资料

[1] DeepSeek-AI:3FS — Fire-Flyer File System。官方开源项目,介绍面向 AI 训练和推理的高性能分布式文件系统,以及训练数据加载、检查点和推理 KV Cache 等应用。

[2] DeepSeek-AI:DeepInfer — Inference Deployment Q&A。官方推理部署文档,介绍 3FS 存储集群承载持久化 KV Cache 的架构、容量、缓存访问及资源解耦设计。

[3] DeepSeek-AI:DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression,2026 年 9 月。介绍因果编码器—解码器结构、Prefill/Decode 非对称激活参数量,以及注意力和 KV Cache 优化。

[4] DeepSeek:Introducing DeepSeek-V4.1-Flash,2026 年 9 月 10 日。官方发布说明及架构、推理效率和缓存优化概述。

[5] Fiona Fung,Anthropic:Running an AI-native engineering org,2026 年 6 月 3 日。介绍 Claude Code 团队在 Agent 编码成为默认工作方式后的组织调整、即时规划、角色变化和小团队自主权。

[6] Nathan Wilmers、Regina Catipon、Maxim Massenkoff、Peter McCrory,Anthropic:How employment is changing at Anthropic,2026 年 10 月 16 日。基于 Anthropic 内部数据,研究 Agent 对工作方式、人才招聘、自主性、判断力和人类注意力的影响。

[7] Microsoft WorkLab:2026 Work Trend Index: Agents, human agency, and the opportunity for every organization,2026 年 5 月 5 日。基于十个国家约两万名 AI 使用者的调查,分析组织环境与个人因素对 AI 价值的关联。

[8] Google DeepMind:Careers — Research Engineer。官方岗位介绍,阐述研究工程师结合工程、数学和研究能力,在理论与实现之间发挥桥梁作用。

[9] McKinsey & Company:AI is changing work. Now it has to change the organization,2026 年 10 月 5 日。讨论 AI 时代跨职能协作、端到端责任、决策权下沉以及组织从职能层级向协作编排的变化。