模型架构
协同设计算法与基础设施，让模型能力随规模增长的同时保持高效。
~/qian-dong $
董骞 Qian Dong
>清华大学博士_
清华大学计算机科学与技术博士（THUIR）。 我的研究聚焦于算法与基础设施协同设计的模型架构， 以扩展参数、上下文，尤其是智能。
// 01 关于
我于 2026 年 6 月获得 清华大学计算机科学与技术博士学位， 博士期间在信息检索实验室（THUIR）开展研究。 很荣幸得到马少平教授、 刘奕群教授和 艾清遥教授的指导。 我的研究关注高效、可扩展的模型架构，以及让这些架构真正落地的系统基础设施。
// 02 研究
高效注意力
研究稀疏注意力、索引复用等架构级方法，降低模型推理成本。
上下文扩展
在模型质量、显存、吞吐与时延之间取得平衡，扩展有效上下文。
信息检索
研究排序与检索增强生成，让模型高效连接到正确的信息。
// 03 最新动态
- 2026.06
博士毕业，获得清华大学计算机科学与技术博士学位。
- 2026.03
IndexCache 发布，通过跨层索引复用加速稀疏注意力。
- 2026.02
GLM-5 技术报告发布，我是模型架构核心贡献者之一。
- 2025.12
GLM-4.7 发布，详情请见我们的博客。
- 2025.11
SelfRACG 被 EMNLP 2025 接收，让大模型自主表达检索查询以提升代码生成。
- 2025.09
GLM-4.6 发布，详情请见我们的博客。
- 2025.08
GLM-4.5 技术报告发布，我参与了后训练阶段的稀疏注意力适配研究。
- 2025.07
Qilin 被 SIGIR 2025 接收，构建了包含真实 App 级用户会话的多模态检索数据集。
- 2025.04
DecoupledRAG 被 WWW 2025 接收，通过交叉注意力解耦上下文与知识。
- 2024.07
RLCF 被 SIGIR 2024 接收，通过无监督对比反馈对齐信息检索大模型。
- 2023.10
I³Retriever 被 CIKM 2023 接收，将隐式查询—文档交互融入检索器。
- 2023.07
T²Ranking 被 SIGIR 2023 接收，发布大规模中文段落排序基准。
- 2022.07
KERM 被 SIGIR 2022 接收，将显式知识融入预训练模型用于段落重排序。
- 2022.02
DGRe 发表于 Data Science and Engineering。
- 2021.07
R-FORMER 被 SIGIR 2021 接收。
- 2021.04
LGRe 被 DASFAA 2021 接收。
// 04 论文
完整论文列表见 Google Scholar
研究工作涵盖模型架构、信息检索、检索增强生成与大语言模型。
代表性论文 · 主要作者（10）
SelfRACG: Enabling LLMs to Self-Express and Retrieve for Code Generation
Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions
DecoupledRAG: An Efficient and Effective Retrieval Augmented Generation Framework via Cross Attention
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
T²Ranking: A Large-scale Chinese Benchmark for Passage Ranking
I³Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
Disentangled Graph Recurrent Network for Document Ranking
Legal Judgment Prediction via Relational Learning
Latent Graph Recurrent Network for Document Ranking
代表性论文 · 合作作者（9）
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges
LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods
DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment
BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models
SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
Layout-aware Webpage Quality Assessment
Incorporating Social-Aware User Preference for Video Recommendation
Emotion Recognition Based on Multi-View Body Gestures
// 05 教育背景
-
2022 — 2026
清华大学 博士
计算机科学与技术 · THUIR
-
2019 — 2022
中国科学院软件研究所 工程硕士
计算机技术
-
2015 — 2019
华南理工大学 SCUT 工程学士
软件工程
// 06 荣誉奖项
// 07 研究之外
工作之外，我喜欢探索精酿啤酒： 从清爽的小麦啤、酒花浓郁的 IPA，到比利时白啤与赛松。🍻