解构视频剪辑引擎：一个现代 NLE 系统的完整剖析

flowchart LR
    subgraph Linear["线性编辑（磁带时代）"]
        A[素材 A] --> B[素材 B] --> C[素材 C]
    end
    subgraph NonLinear["非线性编辑（数字时代）"]
        D[随机访问任意位置] --> E[实时预览合成效果] --> F[非破坏性：原始文件不变] --> G[一键导出成片]
    end

flowchart LR
    A["📁 导入"] --> B["✂️ 编辑"] --> C["👁️ 预览"] --> D["📤 导出"]

    A -.- A1["媒体探测\n资源建模\nFast Import"]
    B -.- B1["编辑历史\n增量同步\n分级刷新"]
    C -.- C1["图引擎\n解码/合成\nGPU 渲染"]
    D -.- D1["编码策略\nRemux/Reencode\n容器封装"]

flowchart TB
    subgraph Container["容器（Container）—— 如 MP4、MKV、MOV"]
        subgraph VS["视频流（Video Stream）"]
            V1["编码后的视频帧序列"]
        end
        subgraph AS["音频流（Audio Stream）"]
            A1["编码后的音频采样序列"]
        end
        META["元数据：时长、帧率、分辨率..."]
    end

flowchart LR
    I1["I帧\n(完整画面)"] --> P1["P帧\n(差异)"] --> P2["P帧"] --> B1["B帧\n(双向差异)"] --> I2["I帧\n(完整画面)"]

    style I1 fill:#4a9
    style I2 fill:#4a9
    style P1 fill:#49a
    style P2 fill:#49a
    style B1 fill:#a49

flowchart TB
    subgraph Wrong["❌ 幼稚的想法"]
        W1["文件 A 的前 5 秒字节"] --> W2["+ 文件 B 的后 10 秒字节"] --> W3["= 新文件？"]
    end
    subgraph Right["✅ 实际的复杂度"]
        R1["文件 A 需要重新编码\n（剪切点可能不在 I 帧）"]
        R2["分辨率/帧率/编码可能不同\n需要统一"]
        R3["音视频要重新同步"]
        R4["需要重新封装容器"]
        R1 ~~~ R2
        R3 ~~~ R4
    end

flowchart LR
    subgraph Timeline["时间轴（Timeline）"]
        subgraph T1["视频轨（Video Track）"]
            S1["片段 A\n0-5s"] --- S2["片段 B\n5-15s"] --- S3["片段 C\n15-20s"]
        end
        subgraph T2["音频轨（Audio Track）"]
            S4["背景音乐 0-20s"]
        end
        subgraph T3["贴纸轨（Sticker Track）"]
            S5["文字标题 3-8s"]
        end
    end

flowchart TB
    subgraph Global["全局坐标（时间轴视角）"]
        G1["这个片段从第 3 秒开始，到第 8 秒结束"]
        G2["在画布上位于左上角，缩放 50%"]
    end
    subgraph Local["素材坐标（源文件视角）"]
        L1["从源视频的第 10 秒截取到第 20 秒"]
        L2["源画面裁掉上方 20%"]
    end

    Global --- Clip["一个片段\n同时拥有两套坐标"]
    Local --- Clip

gantt
    title 双坐标系示例
    dateFormat X
    axisFormat %s秒

    section 源视频(60s)
    完整素材       :0, 60
    截取段(10-20s) :active, 10, 20

    section 时间轴
    时间轴上的片段(3-8s, 2x速) :active, 3, 8

flowchart LR
    subgraph Destructive["破坏性编辑"]
        D1["原始文件"] -->|"裁剪"| D2["修改后的文件"]
        D2 -->|"加滤镜"| D3["再次修改的文件"]
        D1 -.->|"❌ 无法恢复"| D4["原始数据丢失"]
    end

    subgraph NonDestructive["非破坏性编辑"]
        N1["原始文件\n（始终不变）"]
        N2["编辑描述：\ntrim 5-15s\n滤镜: 暖色\n位置: 居中"]
        N3["实时合成\n预览效果"]
        N1 --> N3
        N2 --> N3
    end

flowchart TB
    subgraph Tree["树形结构"]
        TRoot["Timeline"] --> TTrack["Track"]
        TTrack --> TSlot["Clip/Slot"]
        TSlot --> TSeg["Segment\n(素材语义)"]
        TSeg --> TRes["Resource\n(文件引用)"]
    end

    subgraph Flat["扁平结构"]
        FTimeline["Timeline"]
        FClip1["Clip{track:0, start:0}"]
        FClip2["Clip{track:0, start:5}"]
        FClip3["Clip{track:1, start:0}"]
        FTimeline --- FClip1
        FTimeline --- FClip2
        FTimeline --- FClip3
    end

    subgraph DAG["图结构（DAG）"]
        DOut["Output"] --> DComp["Composite"]
        DComp --> DFilter["Filter"]
        DComp --> DBlend["Blend"]
        DFilter --> DSrc1["Source A"]
        DBlend --> DSrc2["Source B"]
    end

flowchart TB
    subgraph App["应用层（Application Layer）"]
        A1["UI 交互"]
        A2["编辑页面"]
        A3["相册/发布"]
    end

    subgraph Edit["编辑模型层（Edit Model Layer）"]
        E1["数据模型\nTimeline/Track/Clip"]
        E2["编辑历史\nUndo/Redo"]
        E3["草稿存储\n序列化/反序列化"]
    end

    subgraph Engine["渲染引擎层（Render Engine Layer）"]
        EN1["图引擎\nGraph/Bin/Unit"]
        EN2["编解码\nDecode/Encode"]
        EN3["时间线调度\n帧调度/同步"]
    end

    subgraph Effect["特效层（Effect Layer）"]
        EF1["特效渲染\n滤镜/贴纸/美颜"]
        EF2["算法引擎\n人脸检测/分割"]
        EF3["2D/3D 引擎\n场景图渲染"]
    end

    App --> Edit
    Edit --> Engine
    Engine --> Effect

flowchart LR
    subgraph Responsibilities["各层职责"]
        direction TB
        R1["App: '用户想做什么'"]
        R2["Edit: '怎么描述这个编辑'"]
        R3["Engine: '怎么高效渲染出来'"]
        R4["Effect: '怎么做特效处理'"]
    end

flowchart LR
    subgraph Monolith["单体架构的问题"]
        M1["UI 代码直接调解码器\n→ 一改界面就崩渲染"]
        M2["编辑逻辑和渲染绑定\n→ 无法独立测试/优化"]
        M3["特效和引擎强耦合\n→ 加新特效要改引擎"]
        M4["无法跨平台\n→ iOS/Android/Web 各写一套"]
    end

flowchart TB
    subgraph Single["单模型方案"]
        S1["编辑模型"] -->|"直接驱动"| S2["渲染引擎"]
    end

    subgraph Dual["双模型方案"]
        D1["编辑模型\n(面向编辑语义)"] -->|"转换/同步"| D2["渲染模型\n(面向执行效率)"]
        D2 --> D3["渲染引擎"]
    end

flowchart LR
    subgraph FullRebuild["全量重建"]
        F1["每次编辑"] --> F2["销毁旧渲染模型"] --> F3["从编辑模型完整重建"]
    end

    subgraph IncrDiff["增量 Diff"]
        I1["每次编辑"] --> I2["对比前后快照"] --> I3["只同步变化部分"]
    end

    subgraph EventDriven["事件驱动"]
        E1["每次编辑"] --> E2["发出变更事件"] --> E3["渲染层监听并更新对应节点"]
    end

flowchart LR
    A["用户选择\n视频文件"] --> B["媒体探测\n(Probe)"]
    B --> C["创建\n资源节点"]
    C --> D["创建\n时间轴片段"]
    D --> E["提交到\n编辑模型"]
    E --> F["同步到\n渲染引擎"]
    F --> G["预览\n就绪"]

sequenceDiagram
    participant User as 用户
    participant App as App层
    participant SDK as NLE SDK
    participant Engine as 渲染引擎

    User->>App: 从相册选择视频
    App->>SDK: probe(filePath)
    SDK-->>App: {duration, resolution, codec, fps, hasAudio...}
    App->>SDK: createResource(metadata)
    App->>SDK: createClip(resource, track, position)
    App->>SDK: editor.commit()
    SDK->>Engine: 增量同步新 Clip
    Engine->>Engine: prepare(创建解码器等)
    Engine-->>User: 预览就绪，可播放

flowchart TB
    subgraph Probe["探测过程"]
        P1["打开文件"] --> P2["解析容器头"]
        P2 --> P3["枚举流信息"]
        P3 --> P4["提取元数据"]
    end

    subgraph Output["探测结果"]
        O1["视频: 1920x1080, 30fps, H.264, 10s"]
        O2["音频: 48kHz, stereo, AAC"]
        O3["旋转: 90°, HDR: 否"]
    end

    Probe --> Output

Resource {
    id: "res_001"           // 唯一标识
    file: "/path/to/video.mp4"  // 本地路径
    type: VIDEO             // 类型
    duration: 10_000_000    // 时长(微秒)
    width: 1920
    height: 1080
    hasAudio: true
    codec: "h264"
}

Clip {
    // 全局坐标（时间轴上的位置）
    startTime: 0            // 从时间轴第 0 秒开始
    endTime: 10_000_000     // 到第 10 秒结束
    transform: {x: 0, y: 0, scale: 1.0}  // 画布居中

    // 素材坐标（源文件的哪一段）
    segment: {
        resource: "res_001"
        trimStart: 0        // 从源文件开头
        trimEnd: 10_000_000 // 到源文件结尾
        speed: 1.0          // 原速
        volume: 1.0         // 原音量
    }
}

flowchart TB
    subgraph Local["本地资源"]
        L1["相册文件\n/photo/video.mp4"]
        L2["草稿目录\n/drafts/proj_001/"]
        L1 -->|"拷贝/软链"| L2
    end

    subgraph Remote["远程资源"]
        R1["特效包\neffect://sparkle_v2"]
        R2["字体文件\nfont://noto_sans"]
        R3["模板\ntemplate://travel_vlog"]
    end

    subgraph Manager["资源管理器"]
        M1["检查本地是否存在"]
        M2["按需下载"]
        M3["缓存管理"]
        M4["路径解析"]
    end

    Remote --> Manager
    Local --> Manager
    Manager --> Ready["资源就绪\n可以播放/导出"]

flowchart TB
    subgraph FastImport["Fast Import（快速导入）"]
        FI1["不做任何转码"] --> FI2["直接引用原始文件"] --> FI3["导出时按需处理"]
    end

    subgraph PreTranscode["预转码"]
        PT1["导入时统一转为\n中间格式(ProRes/DNxHR)"] --> PT2["编辑时性能好"] --> PT3["需要额外磁盘空间"]
    end

    subgraph OnDemand["按需转码"]
        OD1["先快速导入"] --> OD2["播放时发现性能不够"] --> OD3["后台异步转码"]
    end

sequenceDiagram
    participant User as 用户手指
    participant UI as UI层
    participant Model as 编辑模型
    participant Sync as 同步层
    participant Engine as 渲染引擎
    participant Display as 屏幕

    User->>UI: 拖动片段(每帧触发)
    UI->>Model: clip.startTime = newPosition
    UI->>Model: editor.commit()
    Model->>Model: 生成不可变快照(stage)
    Model->>Sync: notifyChanged()
    Sync->>Sync: diff(oldStage, newStage)
    Sync->>Engine: 增量更新(只改了 startTime)
    Engine->>Engine: refreshCurrentFrame()
    Engine->>Display: 合成新帧 → 上屏

    Note over User,Display: 整个过程 < 16ms (60fps)

flowchart LR
    subgraph GitAnalogy["类比 Git"]
        W["Working Tree\n可随意修改"] -->|"git add"| S["Staging\n暂存区"]
        S -->|"git commit"| H["History\n提交历史"]
        H -->|"git checkout"| W
    end

    subgraph NLEEditor["NLE 编辑器"]
        NW["Working Copy\n用户正在编辑的模型"] -->|"commit()"| NS["Stage\n不可变快照"]
        NS -->|"done()"| NH["Branch\n历史链表"]
        NH -->|"undo()"| NW
    end

flowchart TB
    subgraph History["编辑历史链"]
        C1["Commit 1\n'添加视频片段'"] --> C2["Commit 2\n'裁剪前3秒'"]
        C2 --> C3["Commit 3\n'加滤镜'"]
        C3 --> C4["Commit 4\n'移动贴纸'\n← HEAD"]
    end

    C4 -->|"undo()"| C3
    C3 -->|"undo()"| C2
    C2 -->|"redo()"| C3

flowchart TB
    subgraph Command["Command 模式"]
        CMD1["记录每个操作的\n正向命令 + 反向命令"]
        CMD2["Undo = 执行反向命令"]
        CMD3["Redo = 重新执行正向命令"]
    end

    subgraph Snapshot["快照模式"]
        SNAP1["每次操作后保存\n完整模型快照"]
        SNAP2["Undo = 恢复上一快照"]
        SNAP3["Redo = 恢复下一快照"]
    end

    subgraph Diff["Diff/Patch 模式"]
        DIFF1["每次操作后计算\n与上次的差异(patch)"]
        DIFF2["Undo = 反向应用 patch"]
        DIFF3["Redo = 正向应用 patch"]
    end

flowchart LR
    subgraph HighFreq["高频操作（拖动中）"]
        H1["每帧 commit()"] --> H2["生成 stage 快照"] --> H3["触发预览刷新"]
        H3 --> H4["❌ 不记入历史"]
    end

    subgraph LowFreq["低频操作（松手时）"]
        L1["done('移动片段')"] --> L2["记入 undo 栈"] --> L3["可以被撤销"]
    end

flowchart TB
    subgraph Full["全量刷新"]
        F1["任何编辑"] --> F2["停止引擎\n销毁旧状态\n从模型完整重建\n重新 prepare"]
    end

    subgraph Incr["增量同步"]
        I1["对比前后快照\n找出变化节点"] --> I2["只更新变化的\nTrack/Clip/Filter"] --> I3["轻量刷新当前帧"]
    end

    subgraph Graded["分级刷新"]
        G1["判断变化严重程度"] --> G2{"级别？"}
        G2 -->|"轻(移位)"| G3["refreshCurrentFrame"]
        G2 -->|"中(增删Clip)"| G4["prepare + seek"]
        G2 -->|"重(画布比例)"| G5["全量重建"]
    end

flowchart LR
    subgraph Request["请求"]
        R1["seek(t=5.0s)\n或 play()"]
    end

    subgraph Pipeline["渲染管线"]
        P1["驱动\n(时钟)"] --> P2["解码\n(读取帧)"]
        P2 --> P3["特效\n(滤镜等)"]
        P3 --> P4["合成\n(多轨混合)"]
        P4 --> P5["输出\n(上屏)"]
    end

    subgraph Output["结果"]
        O1["屏幕显示\n合成后的画面"]
    end

    Request --> Pipeline --> Output

flowchart TB
    subgraph DetailedPipeline["单帧渲染详细流程"]
        A["1. 时间调度\n确定 t=5.0s 时\n哪些 Clip 活跃"]
        --> B["2. 视频解码\n每个活跃 Clip\n解码出该时刻的帧"]
        --> C["3. GPU 预处理\n色彩转换\n缩放/旋转"]
        --> D["4. 片段级特效\n滤镜、美颜\nEffect SDK 处理"]
        --> E["5. 多轨合成\n按 Z 轴顺序\nalpha 混合"]
        --> F["6. 序列级处理\n画布适配\n全局叠加(水印)"]
        --> G["7. AV 同步\n等待正确时机"]
        --> H["8. 上屏\nswapBuffers"]
    end

flowchart LR
    subgraph GraphEngine["图引擎概念"]
        Source["Source\n(产生数据)"] --> Processor["Processor\n(处理数据)"]
        Processor --> Sink["Sink\n(消费数据)"]
    end

flowchart TB
    subgraph PreviewGraph["预览图（典型配置）"]
        Drive["DriveBin\n时钟驱动"] --> Decode["DecodeBin\n视频解码"]
        Decode --> GLSource["GLSourceBin\n图片/贴纸"]
        GLSource --> Effect["EffectBin\n特效处理"]
        Effect --> Composite["CompositeBin\n多轨合成"]
        Composite --> Sequence["SequenceBin\n画布/overlay"]
        Sequence --> Output["OutputBin\nAV同步+显示"]
    end

flowchart TB
    subgraph Push["Push 模型"]
        PS1["驱动源主动产生数据"] --> PS2["向下游推送"] --> PS3["下游被动接收处理"]
    end

    subgraph Pull["Pull 模型"]
        PL1["终端(显示器)请求一帧"] --> PL2["向上游拉取"] --> PL3["上游按需解码/处理"]
    end

    subgraph Hybrid["混合模型"]
        HY1["Pull 驱动请求"] --> HY2["内部 Push 传递"] --> HY3["背压控制流速"]
    end

flowchart TB
    subgraph DecodeDecision["解码器选择"]
        D1{"平台支持\n硬件解码？"}
        D1 -->|"是"| D2["硬件解码器\n(VideoToolbox/MediaCodec)"]
        D1 -->|"否"| D3["软件解码器\n(FFmpeg)"]
        D2 -->|"初始化失败?"| D3
    end

    subgraph Cache["解码缓存策略"]
        C1["解码器池\n(复用已创建的解码器)"]
        C2["帧缓存\n(缓存已解码帧)"]
        C3["Seek 优化\n(从最近 I 帧开始)"]
    end

flowchart LR
    subgraph Bad["❌ 传统方式"]
        B1["GPU 解码"] -->|"拷贝到 CPU"| B2["CPU 处理"]
        B2 -->|"拷贝回 GPU"| B3["GPU 显示"]
    end

    subgraph Good["✅ 零拷贝"]
        G1["GPU 解码\n→ GPU 纹理"] -->|"纹理传递"| G2["GPU 特效处理"]
        G2 -->|"纹理传递"| G3["GPU 合成"]
        G3 -->|"纹理传递"| G4["GPU 显示"]
    end

flowchart LR
    L1["Track 0\n主视频"] --> B1["Alpha\nBlend"]
    L2["Track 1\n画中画"] --> B1
    B1 --> B2["Alpha\nBlend"]
    L3["Track 2\n贴纸"] --> B2
    B2 --> B3["Alpha\nBlend"]
    L4["Track 3\n文字"] --> B3
    B3 --> Final["最终合成帧"]

gantt
    title 转场的时间重叠模型
    dateFormat X
    axisFormat %ss

    section Video Track
    Clip A          :a, 0, 8
    转场区域(重叠)   :crit, active, 6, 8
    Clip B          :b, 6, 15

flowchart LR
    subgraph TransitionRender["转场渲染"]
        A["Clip A 的帧\n(outgoing)"] --> Mix["GPU 混合\n(按 progress 插值)"]
        B["Clip B 的帧\n(incoming)"] --> Mix
        Progress["progress: 0→1\n(转场进度)"] --> Mix
        Mix --> Out["输出帧"]
    end

function renderTransition(t, clipA, clipB, transitionDuration):
    progress = (t - overlapStart) / transitionDuration  // 0→1
    frameA = decode(clipA, t)   // outgoing 帧
    frameB = decode(clipB, t)   // incoming 帧
    return shader.blend(frameA, frameB, progress, transitionType)

flowchart LR
    In["输入纹理\n(解码后)"] --> S1["激活当前时刻\n的特效 Segment"]
    S1 --> S2["构建帧级\n渲染图"]
    S2 --> S3["执行算法\n(人脸/分割等)"]
    S3 --> S4["渲染特效\n(粒子/滤镜等)"]
    S4 --> S5["合成到画布"]
    S5 --> Out["输出纹理\n(处理后)"]

flowchart TB
    subgraph TextPipeline["文字渲染管线"]
        T1["文字模型\n(字体/大小/颜色/样式)"]
        T2["排版引擎\n(Layout Engine)"]
        T3["矢量渲染\n→ GPU 纹理"]
        T4["动画插值\n(入场/循环/出场)"]
        T5["合成到画布\n(Alpha 叠加)"]
        T1 --> T2 --> T3 --> T4 --> T5
    end

flowchart TB
    subgraph AVSync["A/V 同步机制"]
        Clock["参考时钟\n(音频时钟)"] --> Decision{"当前时钟\nvs\n帧 PTS？"}
        VQ["视频帧队列\n(带 PTS)"] --> Decision
        Decision -->|"帧早了"| Wait["等待"]
        Decision -->|"帧晚了"| Drop["丢帧"]
        Decision -->|"匹配"| Display["显示"]
    end

flowchart LR
    subgraph VideoPath["视频管线"]
        V1["视频解码"] --> V2["GPU 特效"] --> V3["多轨合成"] --> V4["显示"]
    end

    subgraph AudioPath["音频管线"]
        A1["音频解码"] --> A2["重采样"] --> A3["多轨混音"] --> A4["音效处理"] --> A5["播放"]
    end

    V4 --- AV["AV Sync\n音视频对齐"]
    A5 --- AV

flowchart LR
    subgraph Tracks["多轨音频"]
        T1["Track 1: 人声\nvol=0.8"]
        T2["Track 2: BGM\nvol=0.3"]
        T3["Track 3: 音效\nvol=1.0"]
    end

    subgraph Mixer["混音器"]
        Mix["加权求和\nΣ(sample × volume)"]
        Clip["Clipping 保护\n防止溢出"]
    end

    T1 --> Mix
    T2 --> Mix
    T3 --> Mix
    Mix --> Clip --> Out["输出 PCM"]

flowchart TB
    subgraph VolumeTypes["三种音量控制"]
        Static["静态音量\n(整段固定值)"]
        Curve["关键帧曲线\n(随时间变化)"]
        Fade["淡入淡出\n(首尾渐变)"]
    end

%%{init: {'theme': 'neutral'}}%%
xychart-beta
    title "音量曲线示例"
    x-axis "时间(s)" [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    y-axis "音量" 0 --> 1
    line [0, 0.3, 0.8, 0.8, 1.0, 1.0, 0.6, 0.6, 0.4, 0.2, 0]

flowchart LR
    subgraph ColorSpaces["常见色彩空间"]
        BT709["BT.709\n(标准 SDR\n大多数视频)"]
        BT2020["BT.2020\n(宽色域 HDR\n现代手机拍摄)"]
        SRGB["sRGB\n(显示器标准)"]
        Linear["Linear\n(物理线性\n合成计算用)"]
    end

flowchart LR
    subgraph Input["输入"]
        I1["素材 A: BT.709"]
        I2["素材 B: BT.2020 HDR"]
        I3["图片 C: sRGB"]
    end

    subgraph Working["工作空间"]
        W1["统一为内部工作色彩空间\n(如 Linear BT.709)"]
    end

    subgraph Process["处理"]
        P1["滤镜/调色\n在工作空间操作"]
    end

    subgraph Output["输出"]
        O1["预览: 转换到显示器色彩空间"]
        O2["导出: 按目标格式输出"]
    end

    Input --> Working --> Process --> Output

flowchart TB
    subgraph HDRWorkflow["HDR 处理流程"]
        Detect["检测素材\n是否 HDR"] --> Decision{"编辑/预览\n在 SDR 屏幕？"}
        Decision -->|"是"| ToneMap["色调映射\nHDR → SDR\n(保留细节)"]
        Decision -->|"否(HDR屏)"| Direct["直接 HDR 显示"]
        ToneMap --> Preview["SDR 预览"]

        Export{"导出时？"}
        Export -->|"保留 HDR"| HDROut["HDR 编码输出\n(HEVC 10-bit PQ)"]
        Export -->|"转 SDR"| SDROut["SDR 编码输出\n(H.264 8-bit)"]
    end

flowchart LR
    subgraph LUT["LUT 工作方式"]
        In["输入颜色\n(R,G,B)"] --> Lookup["在 3D 表中查找\n对应输出颜色"]
        Lookup --> Out["输出颜色\n(R',G',B')"]
    end

flowchart TB
    subgraph Comparison["预览 vs 导出"]
        direction LR
        subgraph Preview["预览"]
            PV1["实时播放"]
            PV2["可以丢帧"]
            PV3["预览分辨率(小)"]
            PV4["输出到屏幕"]
            PV5["无编码"]
        end
        subgraph Export["导出"]
            EX1["离线处理"]
            EX2["不能丢帧"]
            EX3["输出分辨率(大)"]
            EX4["输出到文件"]
            EX5["需要编码"]
        end
    end

flowchart TB
    Start["开始导出"] --> Check{"检查编辑内容"}

    Check -->|"零编辑"| Copy["直接拷贝\n(Copy)"]
    Check -->|"只改metadata"| CopyMeta["拷贝+改元数据"]
    Check -->|"多段无编辑\n相同编码"| Concat["拼接\n(Concat)"]
    Check -->|"单段无视觉编辑\n编码兼容"| Remux["重封装\n(Remux)"]
    Check -->|"有特效/裁剪\n/变速/多轨"| Reencode["全量重编码\n(Reencode)"]

    Copy --> Fast["⚡ 秒级"]
    CopyMeta --> Fast
    Concat --> MedFast["⚡ 秒-十秒级"]
    Remux --> Med["⚡ 十秒级"]
    Reencode --> Slow["🐢 分钟级"]

flowchart LR
    subgraph Reencode["重编码路径"]
        RE1["解码"] --> RE2["渲染/特效"] --> RE3["编码"] --> RE4["封装"]
    end

    subgraph Remux["重封装路径"]
        RM1["读取 packet\n(不解码)"] --> RM2["直接写入\n新容器"]
    end

flowchart TB
    subgraph EncoderChoice["编码器决策"]
        Q1{"硬件编码器\n可用？"} -->|"是"| HW["硬件编码\n(VideoToolbox/MediaCodec)"]
        Q1 -->|"否"| SW["软件编码\n(FFmpeg x264/x265)"]
        HW -->|"初始化失败"| SW
    end

flowchart TB
    subgraph Optimizations["导出优化手段"]
        O1["Hash Skip\n内容未变 → 跳过导出"]
        O2["并行编码\n长时间线分段并行"]
        O3["Fast Export\n降低编码质量参数\n换取速度"]
        O4["硬件加速\nGPU 编码 + GPU 渲染"]
    end

flowchart LR
    subgraph Keyframes["关键帧动画"]
        K1["t=0s\nscale=1.0"] --> Interp1["插值"]
        Interp1 --> K2["t=2s\nscale=2.0"]
        K2 --> Interp2["插值"]
        Interp2 --> K3["t=5s\nscale=0.5"]
    end

%%{init: {'theme': 'neutral'}}%%
xychart-beta
    title "关键帧插值示例（位置 X）"
    x-axis "时间(s)" [0, 1, 2, 3, 4, 5]
    y-axis "位置 X" 0 --> 100
    line [0, 20, 40, 60, 80, 100]
    line [0, 5, 20, 80, 95, 100]

flowchart TB
    subgraph Template["模板结构"]
        T1["预定义的时间轴\n(Track/Clip/Effect 布局)"]
        T2["可替换槽位\n(用户填入自己的素材)"]
        T3["固定元素\n(转场/音乐/文字样式)"]
    end

    subgraph Usage["使用流程"]
        U1["加载模板"] --> U2["用户选择素材\n填入槽位"]
        U2 --> U3["系统自动\n适配时长/裁剪"]
        U3 --> U4["预览/微调"] --> U5["导出"]
    end

    Template --> Usage

template_travel_vlog/
├── manifest.json       # 描述：槽位数量、时长、分辨率要求
├── timeline.json       # 预制时间轴模型（与普通草稿格式相同）
├── effects/            # 特效资源（滤镜包、转场包）
├── fonts/              # 字体文件
├── audio/              # 背景音乐
└── thumbnails/         # 模板预览图

flowchart LR
    subgraph Serialization["序列化"]
        Model["内存中的\n对象树"] -->|"序列化"| JSON["JSON 文件\n(草稿)"]
        JSON -->|"反序列化"| Model2["恢复的\n对象树"]
    end

flowchart TB
    subgraph Compat["版本兼容策略"]
        V1["v1 草稿\n(缺少新字段)"] -->|"反序列化"| Fill["用默认值\n填充缺失字段"]
        Fill --> V2Model["v2 的内存模型\n(完整)"]

        V2["v2 草稿\n(含新字段)"] -->|"在 v1 打开"| Ignore["忽略未知字段\n(不报错)"]
        Ignore --> V1Model["v1 的内存模型\n(部分)"]
    end

flowchart TB
    subgraph AIIntegration["AI 集成模式"]
        subgraph PreProcess["预处理型"]
            PP1["导入时分析素材"] --> PP2["生成标签/分割点"]
        end

        subgraph RealTime["实时推理型"]
            RT1["预览/导出时"] --> RT2["逐帧 AI 处理\n(美颜/分割/追踪)"]
        end

        subgraph Suggestion["建议型"]
            SG1["分析时间线"] --> SG2["推荐转场/音乐/模板"]
        end
    end

gantt
    title 单帧 16ms 时间预算分配
    dateFormat X
    axisFormat %Xms

    section 典型分配
    解码(硬件)      :0, 2
    GPU特效        :2, 6
    多轨合成       :6, 9
    AV同步+上屏    :9, 12
    余量(buffer)   :12, 16

flowchart TB
    subgraph CacheHierarchy["缓存层次"]
        L1["VRAM 帧缓存\n(GPU 纹理, ~100帧)\n命中: <1ms"]
        L2["RAM 帧缓存\n(CPU 内存, ~500帧)\n命中: ~2ms"]
        L3["解码器池\n(复用已创建的解码器)\n复用: ~5ms vs 创建: ~50ms"]
        L4["磁盘缓存\n(预渲染帧/缩略图)\n命中: ~10ms"]
    end

    L1 --> L2 --> L3 --> L4

flowchart TB
    subgraph Threads["典型线程分布"]
        UI["UI 线程\n手势/动画/布局"]
        Decode["解码线程(池)\n视频/音频解码"]
        Render["渲染线程\nGL/Metal 操作"]
        Audio["音频线程\n低延迟音频输出"]
        AI["算法线程\nAI 推理"]
        IO["IO 线程\n文件读写/网络"]
    end

    UI -->|"commit()"| Render
    Decode -->|"帧就绪"| Render
    Render -->|"纹理"| Display["显示"]
    Audio -->|"AV Sync"| Render

flowchart TB
    subgraph Degradation["降级策略"]
        D1["降低预览分辨率\n(1080p → 540p)"]
        D2["使用预渲染代理片段\n(复杂特效预先渲染好)"]
        D3["简化特效\n(预览用轻量版)"]
        D4["动态帧率\n(从60fps降到30fps)"]
    end

flowchart TB
    subgraph Lifecycle["视频的完整生命周期"]
        Import["📁 导入\n探测 → 建模 → 入轨"]
        Edit["✂️ 编辑\n修改模型 → commit → 同步"]
        Preview["👁️ 预览\n图引擎 → 解码 → 特效 → 合成 → 上屏"]
        Export["📤 导出\n策略决策 → 渲染/Remux → 编码 → 封装"]

        Import --> Edit
        Edit --> Preview
        Edit --> Export
        Preview --> Edit
    end

    subgraph Support["支撑系统"]
        History["编辑历史\nundo/redo"]
        Draft["草稿持久化\n序列化/反序列化"]
        Cache["缓存系统\n帧/解码器/缩略图"]
        AI["AI 能力\n分析/推荐/实时处理"]
    end

    Edit --- History
    Edit --- Draft
    Preview --- Cache
    Edit --- AI