模型架构
协同设计算法与基础设施，让模型能力随规模增长的同时保持高效。
~/qian-dong $
董骞 Qian Dong
>Tencent HY 研究工程师_
我现任 Tencent HY Scaling Team 研究工程师，从事模型架构研究。清华大学计算机科学与技术博士。
// 01 关于
我现任 Tencent HY Scaling Team 研究工程师，从事模型架构研究。 我于 2026 年 6 月获得 清华大学计算机科学与技术博士学位。 很荣幸得到马少平教授、 刘奕群教授和 艾清遥教授的指导。 我的研究关注高效、可扩展的模型架构，以及让这些架构真正落地的系统基础设施。
// 02 研究
高效注意力
研究稀疏注意力、线性注意力等架构级方法，降低模型推理成本。
上下文扩展
在模型质量、显存、吞吐与时延之间取得平衡，扩展有效上下文。
低精度训练
研究稳定的低精度训练方法，在保持模型质量的同时降低大规模训练成本。
// 03 最新动态
- 2026.08
Hy4 preview 发布。我是其模型架构贡献者之一，并推动我们的科研成果 IndexCache 在 Hy4 中实现生产落地，以低成本支持 1M 上下文。
- 2026.06
博士毕业，获得清华大学计算机科学与技术博士学位。
- 2026.03
IndexCache 发布，通过跨层索引复用加速稀疏注意力。
- 2026.02
GLM-5 技术报告发布，我是模型架构核心贡献者之一。
- 2025.12
GLM-4.7 发布，详情请见我们的博客。
- 2025.09
GLM-4.6 发布，详情请见我们的博客。
- 2025.08
GLM-4.5 技术报告发布，我参与了后训练阶段的稀疏注意力适配研究。
// 04 论文
完整论文列表见 Google Scholar
研究工作涵盖模型架构、信息检索、检索增强生成与大语言模型。
代表性论文 · 主要作者（10）
SelfRACG: Enabling LLMs to Self-Express and Retrieve for Code Generation
Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions
DecoupledRAG: An Efficient and Effective Retrieval Augmented Generation Framework via Cross Attention
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
T²Ranking: A Large-scale Chinese Benchmark for Passage Ranking
I³Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
Disentangled Graph Recurrent Network for Document Ranking
Legal Judgment Prediction via Relational Learning
Latent Graph Recurrent Network for Document Ranking
代表性论文 · 合作作者（9）
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges
LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods
DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment
BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models
SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
Layout-aware Webpage Quality Assessment
Incorporating Social-Aware User Preference for Video Recommendation
Emotion Recognition Based on Multi-View Body Gestures
// 05 研究之外
工作之外，我喜欢探索精酿啤酒： 从清爽的小麦啤、酒花浓郁的 IPA，到比利时白啤与赛松。🍻