从Transformer到大语言模型：理解生成式AI的基础结构
整理注意力机制、预训练任务、参数规模、上下文窗口和指令跟随能力之间的关系。
AI基础 / 模型结构 / 阅读笔记
科研AI是一个关于人工智能技术的内容记录站，主要整理大模型、机器学习、深度学习、 计算机视觉、自然语言处理、多模态智能和科研方法相关内容。这里不强调服务功能， 更像一个长期更新的AI技术博客，用来沉淀阅读、学习、实验和思考。
以博客文章的形式记录AI领域的重要概念、技术路线、研究趋势和实践经验。
整理注意力机制、预训练任务、参数规模、上下文窗口和指令跟随能力之间的关系。
通过分类、聚类、伪标签和一致性约束等例子，梳理不同学习范式的适用场景。
记录视觉任务的输入输出形式、常用数据集、评价指标以及典型模型发展脉络。
从Word2Vec、RNN、BERT到GPT，记录语言模型在表示学习和生成能力上的变化。
围绕图文匹配、图像问答、跨模态检索和多模态推理，记录视觉语言模型的关键价值。
整理模型偏见、数据隐私、可解释性、鲁棒性、安全边界和责任归属等基础问题。
按照主题归档技术内容，方便后续持续补充和查阅。
线性模型、树模型、集成学习、聚类、降维、模型评估与特征工程。
神经网络、CNN、RNN、Transformer、优化器、损失函数与训练技巧。
预训练、指令微调、提示词、RAG、Agent、上下文学习与模型对齐。
图像分类、目标检测、语义分割、实例分割、图像生成与医学影像。
文本分类、序列标注、信息抽取、机器翻译、问答系统与文本生成。
图文对齐、视觉问答、跨模态检索、视频理解和多模态大模型。
论文阅读、实验设计、消融实验、指标选择、结果分析与论文表达。
记录常见AI工具、开源框架、模型部署、数据处理和代码实践经验。
这里记录阅读论文、理解模型、复现实验和整理知识时形成的长期笔记。
一篇论文不只是看摘要和结论，更重要的是看它提出了什么问题、为什么这个问题值得研究、方法解决了哪一部分，以及实验是否真正支撑结论。
实验结果需要结合数据划分、训练策略、模型参数、损失函数、评价指标和随机种子一起分析。只看一个最终分数，很容易忽略方法是否稳定、是否公平以及是否具备泛化能力。
按照从基础到实践的顺序，整理适合长期学习和查漏补缺的AI知识路径。
记录Python、线性代数、概率统计、微积分和数据结构中与AI学习密切相关的内容。
整理回归、分类、聚类、过拟合、正则化、交叉验证和评价指标等核心知识点。
记录神经网络、卷积网络、Transformer、PyTorch训练流程和常见调试问题。
围绕NLP、CV、多模态、大模型、医学AI等方向整理论文、代码和实验经验。
从阅读、复现和对比中发现问题，逐渐形成可验证、可实验、可表达的研究想法。
本站内容以AI技术学习和科研阅读记录为主，后续可继续补充论文笔记、模型解读、 实验复现、工具使用、行业观察和个人思考。每一篇内容都尽量围绕一个明确问题展开， 不追求营销式介绍，只沉淀可反复阅读的技术记录。