README.md

机器学习

“智能科学与技术”专业的核心课程，请好好学

使用环境

• Windows 11/EndeavourOS

• Python 3.11.3 (Based on Anaconda3)

  库	版本	功能描述
  graphviz	0.20.1	可视化决策树
  jieba	0.42.1	中文分词
  keras	2.12.0	深度学习
  matplotlib	3.7.1	绘图
  numpy	1.23.5	矩阵运算
  pandas	2.0.0	数据处理
  scikit-learn	1.2.2	机器学习
  tensorboard	2.12.3	深度学习
  tensorflow	2.12.0	深度学习
  torch	2.0.1+cu118	深度学习
  torchvision	0.15.1+cu118	深度学习
  Werkzeug	2.3.3	深度学习
  torch_geometric	2.3.1	图神经网络

• PyCharm Professional 2022.1

• Draw.io

成绩构成

理论课

• 平时作业20%
• 随堂测验10%
• 考勤5%
• 课堂参与(回答问题)5%
• 期末考试60%

pie
  title 成绩构成
  "平时作业" : 20
  "随堂测验" : 10
  "考勤" : 5
  "课堂参与(回答问题)" : 5
  "期末考试" : 60

Loading

实验课

• 6次平时实验(6×10%)

  • 代码实现5%、报告撰写4%、考勤和课堂参与1%

  • 线性模型
  • 决策树与集成学习
  • SVM
  • 神经网络
  • 深度学习
  • 聚类算法
• 期末大作业(40%)

  • 选题5%、报告10%、Presentation5%

  • 自主选题，独立完成

pie
  title 成绩构成
  "平时实验-线性模型" : 10
  "平时实验-决策树与集成学习" : 10
  "平时实验-SVM" : 10
  "平时实验-神经网络" : 10
  "平时实验-深度学习" : 10
  "平时实验-聚类算法" : 10
  "期末大作业" : 40

Loading

教材

• 《机器学习》周志华，清华大学出版社
  • 通常称其为“西瓜书”
  • 

目录

PPT

PPT通过腾讯文档分享，且并未提供下载

• 1. 绪论
• 2. 模型评估与选择
• 3. 线性模型
• 4. 决策树
• 5. 集成学习
• 6. 支持向量机
• 7. 神经网络
• 8. 卷积神经网络
• 9. 循环神经网络
• 10. Transformer
• 11. 贝叶斯分类器
• 12. 聚类
• 13. 降维
• 14. 概率图模型
• 15. 强化学习

作业

• 作业1
  • 作业报告:作业1.docx
  • 题1绘图:题1绘图.drawio
  • References
    • 机器学习（周志华）课后作业/习题答案_机器学习周志华答案_Mr-Cat伍可猫的博客-CSDN博客

      • 但不可尽信，其中有部分是有误的

    • 《机器学习》中的假设空间和版本空间_一只程序喵的博客-CSDN博客
    • 机器学习 (Machine Learning) 在自动驾驶中的应用 - 知乎
• 作业2
  • 作业报告:作业2.docx
  • 题3伪代码:demo.py
  • References
    • 决策树DecisionTree（附代码实现） - 知乎
    • New Bing
• 作业3
  • 作业报告:作业3.docx
  • 题3绘图:题3绘图.drawio
  • References
    • 忘了
• 作业4

  • 因为参考了别人的作业(md，把抄说这么好听)，所以不放了。只列一些参考资料

  • References
    • 【神经网络】LSTM_输入门输出门遗忘门_DonngZH的博客-CSDN博客
    • 如何计算 LSTM 的参数量 - 知乎
    • Transformer模型详解（图解最完整版） - 知乎
• 作业5
  • 作业报告:作业5.docx

实验

• 实验杂记：一些问题和技巧，当你的实验出现Warning或Error时，可以来这里翻翻

• 实验1：线性模型

  • 源文件
    • regression_Vol1.0.py：最早的版本，盲目封装导致可读性非常差，是一个失败的版本
    • regression_Vol1.1.py：大幅降低封装度，提高可读性，但方法与Vol1.0完全相同
    • regression_Vol2.0.py：采用手动梯度下降替换sklearn.LogisticRegression，但效果不太好
  • 数据集
    • 题1数据集:ex1data1.csv
    • 题2数据集:ex1data2.csv
  • 实验报告
    • Report.md：对应Vol1.0和Vol1.1，但使用了sklearn.LogisticRegression，不符合要求。
  • References
    • numpy.ndarray相关操作
      • ndarray的拼接方法,np.stack和np.vstack,np.hstack,np.concatenate_ndarray拼接_敲来敲去CC的博客-CSDN博客
    • sklearn.LogisticRegression的用法
      • LogisticRegression回归算法 Sklearn 参数详解 - 静悟生慧 - 博客园
    • 逻辑回归的求解思路
      • 吴恩达机器学习课程-作业2-逻辑回归（python实现）_生榨的椰汁的博客-CSDN博客
      • machine-learning-Andrew/logistic_regression.py at 60bc802dc1b496f8ee2c2a2fd2cf92e41a6013e4 · WinterPan2017/machine-learning-Andrew
  • 后记

    • 这次手写梯度下降真的快把我逼疯了，emmm一定是我太菜了罢

• 实验2：决策树

  • 源文件
    • decision.py
  • 数据集
    • 本次数据集:ex2data.csv
  • 实验报告
    • Report.md
  • References
    • New Bing
    • demo.py

• 实验3：支持向量机

  • 源文件
    • svm.py
  • 数据集
    • 线性可分数据集:ex3data1.csv
    • 线性不可分数据集:ex3data2.csv
  • 实验报告
    • Report.md
  • References
    • sklearn.svm.SVC — scikit-learn 1.2.2 documentation
    • 【python】numpy的array与pandas的DataFrame转换_array转化为dataframe_Xhfei1224的博客-CSDN博客
    • python - UserWarning: X does not have valid feature names, but DecisionTreeClassifier was fitted with feature names - Stack Overflow

• 实验4：神经网络

  • 源文件
    • neural_network.py
  • 数据集(和实验1相同)
    • 题1数据集:ex1data.csv
    • 题2数据集:ex1data2.csv
  • 实验报告
    • Report.md
  • References
    • 暂无
  • 后记
    • 需要说明的是，在neural_network.py中，我对于optim.Adam()设置了lr = 0.01——这规定了每步迭代的学习率恒为0.01，但Adam是自适应学习率的优化器，不应该对其做限制。所以在你的代码中，请删去这一点，或者自行尝试更好的学习率。

• 实验5：深度学习

  • 源文件
    • alexnet.py
    • lstm.py
  • 数据集
    • 题1数据集：cifar-10-batches-py
    • 题2数据集：comments.csv 注：同文件夹下的chineseStopWords.txt为中文停用词表，与该数据集一同使用
  • 实验报告
    • Report.md
  • References
    • CodeDemo：助教给的数据处理的示例代码。
    • Training a Classifier — PyTorch Tutorials 2.0.1+cu117 documentation：官方提供的针对CIFAR-10的分类器训练教程，但模型并不是AlexNet。
    • Given input size: (256x1x1). Calculated output size: (256x0x0) - PyTorch Forums：关于使用CIFAR-10和AlexNet做图像分类，代码参考价值较高，该帖讨论的问题我也遇到了。
    • gensim使用汇总_model.wv.vocab_herosunly的博客-CSDN博客：看完就大致明白如何训练词向量了。
    • 【TensorFlow】 利用LSTM进行情感分析_duanlianvip的博客-CSDN博客：含原理讲解，十分详细，但可惜代码是Tensorflow 1.X的，很多语法已不可用。
    • 基于长短时神经网络(LSTM)+word2vec的情感分析_pythoner_116的博客-CSDN博客：相对上一篇较新，和上一篇参考着来。
    • tensorboard使用详解 - 知乎
  • 后记
    • Tensorflow能不用就不用，会带来不幸。
    • Tensorboard启动时注意先cd到Log文件夹的上级再输入相对路径启动，且整个绝对路径中不能有中文或奇怪符号。
    • Tensorflow中可以对LSTM使用GPU加速——用tf.keras.layers.CuDNNLSTM替换tf.keras.layers.LSTM，并修改一些参数。但鉴于第二个题计算量不大，所以干脆就没GPU加速。
    • 第一个题中优化器使用的Adam，按理说不应该固定其学习率，因为该优化器会动态调整学习率。但不指定学习率的效果反而更差(损失下降缓慢，且波动大)，故最后仍保留了LR=5e-5的超参数。

• 实验6：聚类和提示学习

  • 源文件
    • k-means.py
    • chatglm-6b.py
  • 数据集
    • 题1数据集：ex6data.csv
    • 题2数据集：comments.csv (其实就是Exp5题2的数据集)
  • 实验报告
    • Report.md
  • References
    • 手把手教你本地部署清华大学KEG的ChatGLM-6B模型——Windows+6GB显卡版本和CPU版本的本地部署 - 知乎
  • 后记：关于ChatGLM
    • 本项目中chatglm-6b.py的配置方法：
      1. 按照Reference中的文章配置完成(注意如果有NVIDIA独立显卡且支持CUDA，建议去PyTorch官网，使用官网提供的命令安装CUDA版PyTorch，然后再按照官方仓库的requirements.txt安装其他依赖)。
      2. 下载源文件chatglm-6b.py和数据集comments.csv。
      3. 将HuggingFace的整个项目文件夹重命名为ChatGLM-6B-INT4。
      4. 将chatglm-6b.py和数据集comments.csv以及ChatGLM-6B-INT4文件夹放在一个PyCharm项目中，该项目的路径中不要有中文或其他字符。
      5. 在PyCharm中运行chatglm-6b.py即可。
    • 或者你可以直接从百度网盘中下载已打包的项目，适用于Windows+CUDA 11及以上，包含完整的Python 3.10虚拟环境；torch版本为2.0.1+cu118，适用于大多数20/30/40系显卡。解压后直接用PyCharm打开项目运行即可。

• 实验-期末

  • 源文件
  • 数据集：mal-anime | Kaggle
  • 实验报告：
    • main.tex：LaTeX报告
    • report.pdf：PDF版报告
  • 详细说明：README.md