模型架构
协同设计算法与基础设施，让模型能力随规模增长的同时保持高效。
研究工程师 · TENCENT HY
董骞Qian Dong
让模型可扩展，
让智能更高效
我在 Tencent HY Pretraining Team 从事模型架构研究，探索高效、可扩展的智能。清华大学计算机科学与技术博士。
01 / ABOUT
关于我
从学术研究到模型落地。
我现任 Tencent HY Pretraining Team 研究工程师，从事模型架构研究。 我于 2026 年 6 月获得 清华大学计算机科学与技术博士学位。 很荣幸得到马少平教授、 刘奕群教授和 艾清遥教授的指导。 我的研究关注高效、可扩展的模型架构，以及让这些架构真正落地的系统基础设施。
02 / RESEARCH
研究方向
构建更高效的智能。
高效注意力
研究稀疏注意力、线性注意力等架构级方法，降低模型推理成本。
上下文扩展
在模型质量、显存、吞吐与时延之间取得平衡，扩展有效上下文。
低精度训练
研究稳定的低精度训练方法，在保持模型质量的同时降低大规模训练成本。
03 / NEWS
最新动态
一些新的进展与里程碑。
Hy4 preview 发布。我是其模型架构贡献者之一，并推动我们的科研成果 IndexCache 在 Hy4 中实现生产落地，以低成本支持 1M 上下文。
博士毕业，获得清华大学计算机科学与技术博士学位。
IndexCache 发布，通过跨层索引复用加速稀疏注意力。
GLM-5 技术报告发布，我是模型架构核心贡献者之一。
更早的动态 2025
GLM-4.7 发布，详情请见我们的博客。
GLM-4.6 发布，详情请见我们的博客。
GLM-4.5 技术报告发布，我参与了后训练阶段的稀疏注意力适配研究。
04 / PUBLICATIONS
精选论文
想法、实验与研究成果。
研究工作涵盖模型架构、信息检索、检索增强生成与大语言模型。
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
通过跨层索引复用加速稀疏注意力，并在 Hy4 中实现生产落地。
高效注意力SelfRACG: Enabling LLMs to Self-Express and Retrieve for Code Generation
探索大语言模型的自主表达与检索能力，服务于代码生成。
检索增强生成主要作者 10 篇
SelfRACG: Enabling LLMs to Self-Express and Retrieve for Code Generation
Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions
DecoupledRAG: An Efficient and Effective Retrieval Augmented Generation Framework via Cross Attention
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
T²Ranking: A Large-scale Chinese Benchmark for Passage Ranking
I³Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
Disentangled Graph Recurrent Network for Document Ranking
Legal Judgment Prediction via Relational Learning
Latent Graph Recurrent Network for Document Ranking
合作作者 9 篇
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges
LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods
DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment
BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models
SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
Layout-aware Webpage Quality Assessment
Incorporating Social-Aware User Preference for Video Recommendation
Emotion Recognition Based on Multi-View Body Gestures
05 / OFF THE CLOCK
研究之外
也享受模型之外的世界。
工作之外，我喜欢探索精酿啤酒： 从清爽的小麦啤、酒花浓郁的 IPA，到比利时白啤与赛松。
聊聊研究，或推荐一杯好啤酒