强化学习基础公式全解析：从 Policy 到 Q-Learning

2026年8月22日 · 3237 字 · 7 分钟 · RL 强化学习 Bellman Q-Learning SARSA TD

强化学习（Reinforcement Learning, RL）的核心是 agent 在环境（Environment）中通过试错（trial and error）学习最优策略。本文系统梳理 RL 最基础、最核心的公式，从 Policy、Return 出发，经过 V/Q 函数、Bellman 方程，最终到 TD 学习和 Q-Learning，形成一条完整的公式链。

用 ComfyUI 生成图片和视频：从 Workflow 到集群部署

2026年8月22日 · 6183 字 · 13 分钟 · ComfyUI AI 绘图 视频生成 FLUX.2 MiniMax H3 Slurm

最近在集群上搭了一套 ComfyUI 环境，用 FLUX.2 生成图片，也准备了 MiniMax H3 的文生视频和图生视频 Workflow。整个过程比想象中有意思：它没有把所有参数塞进一个很长的配置文件，而是把模型、提示词、采样器、VAE 和输出等步骤做成一个个节点，再像拼积木一样把它们连起来。

这篇文章一方面介绍 ComfyUI 的基本概念和常见模块，另一方面也记录一下我自己的使用方式：在集群计算节点上申请 GPU 并运行 ComfyUI Server，通过 SSH 端口转发到 Mac，最后在本地浏览器里编辑和执行 Workflow。

GSPO：Group Sequence Policy Optimization 详解

2026年8月18日 · 7398 字 · 15 分钟 · GSPO GRPO RL 强化学习 LLM MoE

GSPO（Group Sequence Policy Optimization）是 Qwen 团队在 2025 年提出的一种用于 LLM 强化学习后训练的策略优化算法。它直接建立在 GRPO 的框架之上，但做了一个非常关键的改变：

PPTAgent 与 DeepPresenter：论文讲解、代码解析与 Agent Harness 架构

2026年8月15日 · 23934 字 · 48 分钟 · PPTAgent DeepPresenter LLM Agent 论文解析 MCP

本文结合 paper/ 目录下的两篇论文（2501.03936.pdf — PPTAgent，2602.22839.pdf — DeepPresenter）、PPTAgent/ 仓库代码（pptagent/ 旧版核心库 + deeppresenter/ 当前运行时）以及 PPTea-main/ 评测/实验代码，对两代系统的生成流程、评测流程、Agent Harness 主循环与框架架构进行系统讲解，并与"直接让 CodeX/LLM 生成 PPT"的方式做对比。

Use scp tool

2024年12月23日 · 137 字 · 1 分钟 · Shell Scp

Today I have to do the task to transfer the prepared data from one server to another. And I find that we can use the tool scp to transfer files between two different host or between server and local computer.

Gkxx__的 .vscode

2024年8月23日 · 268 字 · 1 分钟 · Vscode Configuration

翻到已经结课的cs100，Update一下gkxx__的配置文件

你们已经长大了，应该学着自己写configure files了

由一个 docker search 产生的连锁反应

2024年8月22日 · 601 字 · 2 分钟 · Bugs Docker Linux

有时候菜的想发颠。

网络问题总是层出不穷，dns解析不了，docker无法拉取镜像源…

Use zsh terminal

2024年8月11日 · 77 字 · 1 分钟 · Shell Zsh

One day I find that the terminal style between mine and other’s are different and I wonder how they do that, so, then I find zsh