Skip to content

Commit

Permalink
update:2 md
Browse files Browse the repository at this point in the history
  • Loading branch information
@zhenda-hub
zhenda-hub committed Dec 31, 2024
1 parent edf1030 commit 9b3b608
Show file tree
Hide file tree
Showing 2 changed files with 26 additions and 24 deletions.
45 changes: 21 additions & 24 deletions content/posts/AI教程.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -7,6 +7,8 @@ toc = true
tags = []
+++

[toc]

## 名词关系网

```mermaid
Expand Down Expand Up @@ -233,7 +235,7 @@ l2最常用

通过模拟人脑的学习方式，具有强大的数据拟合和特征学习能力，是深度学习的重要支柱

基本结构:
##### 基本概念

| 概念 | 类比 | 功能 | 数学表示 | 常见类型/示例 |
|---|---|---|---|---|
Expand All @@ -246,11 +248,9 @@ l2最常用
| | 隐藏层 | 对输入数据进行复杂的非线性变换，提取特征 | | |
| | 输出层 | 输出神经网络的预测结果 | | |

##### 网络层

对于 隐藏层的数量 和 各个隐藏层的节点数:
###### 网络层

常见策略是逐层减少节点数
对于 隐藏层的数量 和 各个隐藏层的节点数: 常见策略是逐层减少节点数

| 层 | 名称 | 作用 |
|---|---|---|
Expand All @@ -269,41 +269,38 @@ l2最常用

| MLP |

工作流程:

| 概念 | 类比 | 功能 | 数学表示 | 常见类型/示例 |
|---|---|---|---|---|
| **前向传播** | 信息流动 | 从输入到输出的计算过程 | - | - |
| **损失函数** | 误差衡量 | 衡量预测值与真实值之间的差异, 训练的目标是最小化损失函数 | 均方误差(MSE), 交叉熵损失(Cross-Entropy Loss)等 | - |
| **反向传播** | 计算梯度 | 应用链式法则进行求导的过程, 最终目的是计算出损失函数对每层参数的梯度 | - | - |
| **优化器** | 参数更新工具 | 根据梯度更新参数 | SGD, Adam, RMSprop, Adagrad等 | - |



#### 神经网络架构

| 神经网络架构 | 定义与特点 | 应用场景 |
|--------------------|------------------|-------------|
| **CNN（Convolutional Neural Network）** | 适合处理图像数据，通过卷积层提取局部特征，池化层降采样，全连接层用于分类或回归 | 图像分类（如手写数字识别） |
| CNN（Convolutional Neural Network） | 适合处理图像数据，通过卷积层提取局部特征，池化层降采样，全连接层用于分类或回归 | 图像分类（如手写数字识别） |
| | | 物体检测（如 YOLO） |
| | | 图像分割（如 U-Net） |
| **RNN（Recurrent Neural Network）** | 适合处理序列数据，能记住历史信息，处理时间序列；梯度消失/爆炸问题需注意 | - 自然语言处理（如机器翻译、文本生成） |
| RNN（Recurrent Neural Network） | 适合处理序列数据，能记住历史信息，处理时间序列；梯度消失/爆炸问题需注意 | - 自然语言处理（如机器翻译、文本生成） |
| | LSTM、GRU 作为改进版本，分别引入门机制，解决梯度问题 | - 时间序列预测（如股票预测） |
| | | - 手写体识别 |
| **Transformer** | 基于注意力机制的架构，可并行处理序列中的各个位置 | - 自然语言处理（如 BERT、GPT） |
| Transformer | 基于注意力机制的架构，可并行处理序列中的各个位置 | - 自然语言处理（如 BERT、GPT） |
| | | - 图像处理（如 Vision Transformer） |
| **GAN（生成对抗网络）** | 由生成器和判别器对抗组成，用于生成逼真的数据 | - 图像生成（如高分辨率照片生成） |
| GAN（生成对抗网络） | 由生成器和判别器对抗组成，用于生成逼真的数据 | - 图像生成（如高分辨率照片生成） |
| | | - 风格迁移（图像风格转换） |
| | | - 数据增强（生成合成数据） |
| **Autoencoder（自编码器）** | 无监督学习算法，用于数据降维和特征提取，包括编码器和解码器 | - 数据降维（高维数据可视化） |
| Autoencoder（自编码器） | 无监督学习算法，用于数据降维和特征提取，包括编码器和解码器 | - 数据降维（高维数据可视化） |
| | | - 图像去噪（恢复清晰图像） |
| | | - 异常检测（检测异常样本） |
| **MLP（多层感知机）** | 最基本的前馈神经网络，由多个全连接层组成，适合处理结构化数据 | - 分类和回归任务 |
| MLP（多层感知机） | 最基本的前馈神经网络，由多个全连接层组成，适合处理结构化数据 | - 分类和回归任务 |
| | | - 数据特征学习（深度学习基础结构） |


#### 模型训练流程

| 概念 | 类比 | 功能 | 数学表示 | 常见类型/示例 |
|---|---|---|---|---|
| **前向传播** | 信息流动 | 从输入到输出的计算过程 | - | - |
| **损失函数** | 误差衡量 | 衡量预测值与真实值之间的差异, 训练的目标是最小化损失函数 | 均方误差(MSE), 交叉熵损失(Cross-Entropy Loss)等 | - |
| **反向传播** | 计算梯度 | 应用链式法则进行求导的过程, 最终目的是计算出损失函数对每层参数的梯度 | - | - |
| **优化器** | 参数更新工具 | 根据梯度更新参数 | SGD, Adam, RMSprop, Adagrad等 | - |


前向传播 -> 得出结果 -> 反向传播 -> 获得梯度 -> 使用optimizer, 更新模型参数

```python
Expand Down Expand Up @@ -378,8 +375,8 @@ llama.cpp
- 对损失函数, 正则化
- early stopping

1. 梯度消失：使用ReLU等激活函数
2. 梯度爆炸：梯度裁剪
梯度消失：使用ReLU等激活函数
梯度爆炸：梯度裁剪


## 番外
Expand Down
5 changes: 5 additions & 0 deletions content/posts/git-guide/git指南.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -537,6 +537,11 @@ git stash pop
git stash list
git stash clear
```

### 保持完美提交的方法

```bash
# cherry-pick 合并特定commit 到main
git checkout main
git cherry-pick commitidxxxx
Expand Down

0 comments on commit 9b3b608

Please sign in to comment.