Study materials

📖 1. Tools

Git

깃은 코드 관리, 버전 관리를 위해 필수 불가결한 도구로 사용되고 있습니다. 다루는 코드가 많고, 방대해지면 자신을 믿을 수 없게 됩니다. 협업에서도 중요한 역할을 합니다. Summary-1 & Summary-2 | 웹말고 다운 받아 보세요

아래의 강좌를 추천합니다. GUI 때문에 Window에선 Souretree를 이용하면 편리하고, 서버에서는 Git CLI 명령어를 숙지하시면 됩니다.

• Sourcetree 및 Git 기초
• 지옥에서 돌아온 Git
• 버전관리시스템 Git
• GitHub Cheat Sheet
• https://learngitbranching.js.org/?locale=ko

X-Shell을 통해 서버 접속하기

서버에 접속하기 위해 터미널(X-Shell, Putty 등)을 이용합니다.

• X-shell 학교, 가정용으로 다운
• 서버접속하기/ ftp 이용하기

VNC를 통해 서버 접속하기

응답속도가 빠른 GUI가 필요한 경우 VNC를 이용해 서버에 접속합니다.

• VNC Connection

Vim

서버에서 텍스트 편집기 Vim을 주로 사용합니다.

• Simple Vim Guide
• 밤앙개 Vim
• Vim 에디터 다양한 기능 설명 및 C++/Python 개발 환경설정 · Edward Im
• Dotfiles/Plugin Auto install
  • works @ EDA, HDL, CPU, GPU and CNN servers (Except RTL - cetos 6)

Visual Studio Code

• 1편: VSCode 설치와 유용한 extension 설치 및 사용법, 단축키
• 2편: VSCode와 Window ubuntu 연결, ubuntu에 Python 설치
• 3편: VSCode와 git 연동
• 알아두면 쓸데있는 VSCode 노하우

Linux

• Linux Command Line tool 인프런
• 이것이 우분투 리눅스다
• 🌟 modern-unix tool
  • git-fuzzy
• 이것이 리눅스다
• Linux Bible 자료
• Virtual Box1 & Virtual Box2

Tcl & Using Tool without GUI

Tcl (Tool Command Language)은 Front-end, Back-end 등에서 사용할 툴들을 조작하는데 사용됩니다.

• Tcl Summary
• How to Start Using Tools Efficiently: EDA tool without GUI

Screen

Screen은 리눅스에서 코드를 장시간 안정적으로 돌리기 위해 사용합니다. 스크린을 사용하지 않을 경우 사용 중인 터미널(X-Shell etc)을 끄거나 인터넷연결이 끊어지면 다시 코드를 돌려야합니다.

• Screen Summary
• Screen Copy mode, 스크린 재 접속 후 위에 어떤 작업이 진행됬는지 확인하기
  • Entering Copy Mode and Scrolling
    • By default, enter copy mode with CRTL+a then ESC. You can use vi like commands to navigate through the scollback buffer. The arrows and PAGE UP/DOWN should works as well.

Link File 생성 [1], [2], [3]

윈도우의 바로가기와 비슷한 개념입니다. 크게 Hard Link, Softlink (symbolic link) 두 가지 링크 파일이 존재합니다.

• 링크 생성하기

사용법: $ ln [옵션] 원본 링크
하드링크 $ ln 원본 링크 
소프트링크 $ ln -s 원본 링크 

• 소프트링크 삭제하기
  • rm -f 로 삭제
  • 마지막에 /를 붙이면 안됨

  • 🌟 원본 폴더를 삭제하지 않도록 주의해야함 아래 명령어 수행시 원본파일 삭제됨

    $ rm -rf myfolderlink/ --> Bad End

---

♦️ 2. How to make a chip? | Front-end and Back-end of hardware design

• 하드웨어란?

범용적으로 사용할 수 있는 소프트웨어와 달리 하드웨어는 특수한 목적으로 동작하는 장치입니다. 만드는데 오랜 시간과 많은 비용이 소모되지만 저전력으로 높은 성능을 얻을 수 있어 하드웨어를 사용합니다. 하드웨어는 개발 단계가 진행될 수록 버그를 찾기 힘들며, 수정하기 어렵고, 수정 비용이 크게 증가합니다. 따라서 각각의 개발 프로세스를 이해하고 준수하는 일이 무엇보다 중요합니다. 하드웨어를 설계하는 과정은 크게 Front-end와 Back-end 두 가지로 구분할 수 있습니다. Front-end는 하드웨어의 스펙과 동작을 정의해서 논리 회로로 구성된 netlist를 만들어내는 과정이며, Back-end는 설계된 로직을 실제 Die로 배치하는 등의 물리적인일을 담당합니다. 빌딩을 짓는 과정으로 예를 들면 건물의 크기 등의 스펙을 결정한 후 캐드등의 툴을 사용해서 도면을 그려보는 과정이 front-end 입니다. 설계 의도에 따라 아파트가 될 수 도있고 주상복합이 될 수있는 것처럼 어떤 하드웨어를 만들 것인지 명확한 정의가 필요한 과정입니다. 이어서 도면과 설계도를 기반으로 건물을 완성하는 과정이 back-end 입니다. 일을 하는 순서, 혹은 재료를 공급하는 시기 적절함에 따라 작업의 효율성이 달라질 수 있으며, 마감 처리등에 따라 완성도 (성능)가 달라질 수 있습니다. back-end는 설계 의도를 반영해서 물리적인 하드웨어 chip을 만드는 과정입니다.

Intro. to EDA Tools from IDEC

Front-end - HDL (Verilog Coding)

• 연습 문제 사이트 hdlbits!

• IDEC 2018 자료들

• Design of Digital Circuits & Computer Architecture

  • MIT Tutorial
  • Stanford CS217 - Hardware Accelerators for Machine Learning
  • Papers: Deep Learning & HW Accelerators
  • Neural Network Acceleration Study
  • UsefulSite1: ETH Zurich & UsefulSite2: Cornell ECE4750 & UsefulSite3: Cornell ECE5745
  • MIPS Instruction Set Architecture 1 & 2
  • Neural Network Dataflow Scheduling

• Xilinx Vivado

  • Xilinx University Program
  • Recipe for FPGA cooking
  • ug939-Vivado Design Suite Tutorial: Designing with IP
  • ug1119-Vivado Design Suite Tutorial: Creating and Packaging Custom IP
  • ug940-Embedded Processor HW Design
  • Xilinx Video Series
  • Vivado HW Server Connection

• Xilinx High Level Synthesis

  • Parallel Programming for FPGAs: An open-source high-level synthesis book
  • Cornell Z. Zhang 2018
  • CMU J.C. Hoe 2017
  • ug871-xilinx HLS tutorial

• Open Source

  • DAC SDC Overview, Winners, Webniar
    • DAC SDC 2020 Page
    • DAC SDC 2019 FPGA 1st: SkyNet
    • DAC SDC 2019 FPGA 2nd: XJTU-Tripler
    • DAC SDC 2019 FPGA 3rd: spooNN
    • DAC SDC 2018 FPGA 1st: TGIIF
    • DAC SDC 2018 FPGA 2nd: spooNN
    • DAC SDC 2018 FPGA 3rd: iSmart2
    • PYNQ WorkShop
  • Yolo_v2 on PYNQ
  • ZynqNet
  • Xilinx/CHaiDNN-HLS based Deep Neural Network Accelerator Library for Xilinx Ultrascale+ MPSoCs
  • HLS4ML
  • DNN Weaver
  • Scalable systolic array-based matrix-matrix multiplication implemented in Vivado HLS for Xilinx FPGAs
  • Z. Zhang Group, Cornell
    • BNN on FPGA, FPGA 2017
    • Accelerating Face Detection on FPGA, FPGA 2017
    • Rosetta: A Realistic High-level Synthesis Benchmark Suite for Software Programmable FPGAs, FPGA 2018

---

Back-end

• VLSI Physical Design: From Graph Partitioning to Timing Closure: https://link.springer.com/book/10.1007/978-90-481-9591-6
• https://github.com/The-OpenROAD-Project/OpenROAD
• https://github.com/siliconcompiler/siliconcompiler
• [Nature 2021, Google] A graph placement methodology for fast chip design.
  • code: https://github.com/google-research/circuit_training

---

📢 3 Common skills

Algorithm + Computer Science Basics

• Free programming books
• Deep Into Algorithm from MIT
• The Algorithms: Open Source Resource for Newbies to Learn Algorithms and Implement them in any Programming Language
• Google Coding Style Guides
• Programmers Coding Test
• gyoogle / tech-interview-for-developer
• 🥇 신입 개발자 면접을 위한 지식 총 정리
• 🌠 boostcamp ai-tech-interview
• brave-people brave-tech-interview
• brave-people Awesome-Dev-Contents
• Deep Learning Interviews book
• awesome dev blog

C언어

• 코딩도장 C
• Embedded C
• 임베디드 프로그래밍 C 코드 최적화 eBook
• GCC 사용법
• Makefile 만들기
• 디버깅: GDB 사용하기
• 생활코딩
• OpenCV
• Darknet: Open Source Neural Networks in C
• C++ Programming Curriculum for undergraduates
• cplusplus.com
• Modern C++ Tutorial: C++11/14/17/20 On the Fly
• awesome-hpp: A curated list of awesome header-only C++ libraries

---

Embedded boards

• GPU System Stack
• IT기술노트
• 이니프로 카페
• ICBanQ

• Nvidia Jetson
  • Jetson User Group for Korean
  • 인공지능 하드웨어 개발을 위한 Nvidia Jetson Nano 기초과정
  • Jetson hacks1 | Jetson hacks2
  • Jetson Fan Ctrl
  • Systemmd1 | Systemmd2
  • 라즈베리파이 문서
  • Interactive map of Linux kernel
  • 임베디드 엔지니어

---

Python

• Python 대학 강의 모음 + Tips
• K-Mooc: 데이터 과학을 위한 파이썬 입문
• pyCheckiO - python quiz
• Real Python
• Anaconda 유용한 사용법
• 파이썬 클린코드 - git
• Google Python Style
• 클래스 및 모듈 정리
• 30-helpful-python-snippets
• Awesome Python: frameworks, libraries, software and resources
• Python Cheatsheet
• Matplotlib
• python process time measure
• python profiling
• 자주쓰는 명령어로 배우는 Pandas #1 : Pandas와 데이터 살펴보기
• PyQt5 Tutorial - 파이썬으로 만드는 나만의 GUI 프로그램
• python GUI Programming
• 파이썬 라이브러리, 점프투파이선 저자 박응용님
• 파이썬 알고리즘 인터뷰

Design Pattern

• https://github.com/rebuild-123/Python-Head-First-Design-Patterns
• https://github.com/tim-ts-chu/design-pattern

---

4. Application: Deep Learning

Basics + Seminar

• Probability Distribution: https://distribution-explorer.github.io/
• 머신러닝과 딥러닝 BASIC
• [GIST yongyi lee 머신러닝 BASIC] - Slide, Youtube
• 역전파 알고리즘 완전정복
• 논문으로 짚어보는 딥러닝의 맥
• Stanford cs231n_17_KOR_SUB
• Stanford cs230 -Deep Learning
• 이상화교수님 - 확률 및 통계
• State of AI Report 2019.06.28
• LeaderBoard: StateOfTheArt.ai
• Paperwithcode
• Benchmarks.AI
• 🌠 DAVIAN Lab. Seminar List
• 🌸 https://github.com/jungwoo-ha/WeeklyArxivTalk
• https://github.com/sangyun884/Diffusion-Models-Seminar
• https://github.com/labmlai/annotated_deep_learning_paper_implementations
• Pycon 2021 머신러닝 엔지니어 커리어 로드맵: https://youtu.be/XM4hBpSylpM
• 《머신러닝·딥러닝 문제해결 전략》- https://github.com/BaekKyunShin/musthave_mldl_problem_solving_strategy
• best-of-ml-python: https://github.com/ml-tooling/best-of-ml-python
• Think Bayes 2: https://allendowney.github.io/ThinkBayes2/index.html

PyTorch

• KAIST 딥러닝 홀로서기 세미나 2019 Pytorch
• convNet.pytorch - training example
• Pytorch로 시작하는 딥러닝
• [PyTorch Deep Learning by Yan Lecun & Alfredo Canziani]
  • 강의 슬라이드: https://github.com/Atcold/pytorch-Deep-Learning/tree/master/slides
  • 동영상: https://www.youtube.com/playlist?list=PLLHTzKZzVU9eaEyErdV26ikyolxOsz6mq
  • GitHub(Jupyter Notebook): https://github.com/Atcold/pytorch-Deep-Learning
• Everything You Need To Know About Saving Weights In PyTorch
• pytorch-how-and-when-to-use-module-sequential-modulelist-and-moduledict
• pytorch Autograd
• Reproducible PyTorch를 위한 randomness 올바르게 제어하기!
• PyTorch Multi-GPU 제대로 학습하기
• albumentations - fast image augmentation library 소개 및 사용법 Tutorial
• 2022_the_annotated_transformer
• tunib-ai/large-scale-lm-tutorials: Large-scale language modeling tutorials with PyTorch

---

AutoML

• 🥇 pycaret
• Awesome-NAS
• Awesome-AutoML-Papers
• awesome-AutoML-and-Lightweight-Models
• Literature on Neural Architecture Search
• An Overview of Google's Work and AutoML and Future Directions / ICML 2019
• Using Optuna to Optimize PyTorch Ignite Hyperparameters
• Catalyst 101 — Accelerated PyTorch
• NeurIPS 2021, Amazon Benchmarking Multimodal AutoML for Tabular Data with Text Fields

GNN

• dgl
• CS224W: Machine Learning with Graphs Stanford / Winter 2021
  • https://youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn
• Deep-GCNS
• Intro to graph neural networks: https://youtu.be/8owQBFAHw7E

XAI, SHAP

• https://aims.cs.washington.edu/research
• Explainable AI for Trees_ From Local Explanations to Global Understanding, Scott M. Lundberg et al., 2019
• DBSM XAI Seminar
  1. https://www.youtube.com/watch?v=Grc7egfZP84
  2. NIPS2020 ON CONCEPT-BASED EXPLANATIONS IN DEEP NEURAL NETWORKS https://www.youtube.com/watch?v=-l8vqkCu91M

MLOps

• https://github.com/graviraja/MLOps-Basics
• https://github.com/EthicalML/awesome-production-machine-learning

---

5. Tools: LaTeX / Power Point / Excel / etc.

LaTeX

• Overleaf Main & Tutorial1 &Tutorial2 & Tips1 & LaTeX using vim
• LaTeX Table Generator

% Rotaing Table: use `sidewaystable` from the `rotating` package
\usepackage{rotating}

\begin{sidewaystable}
    \centering
    \caption{Your caption here}
   \begin{tabular}{ll}
    First First & First Second\\
    Second First & Second Second
    \end{tabular}
\end{sidewaystable}

• LaTeX Color

% Definition on the main file
\definecolor{applegreen}{rgb}{0.55, 0.71, 0.0}
\definecolor{azure(colorwheel)}{rgb}{0.0, 0.5, 1.0}

\newcommand{\rone}[1]{\textcolor{applegreen}{#1}}
\newcommand{\sh}[1]{\textcolor{azure(colorwheel)}{[SH: #1]}}
\newcommand{\shrev}[2]{\textcolor{azure(colorwheel)}{\sout{#1}[SH: #2]}}

% How to use it 
\rone{Test} 
\shk{the}
\shkrev{conformable}{their respective} output

• LaTeX Link Color

\usepackage{hyperref} 
\hypersetup{ colorlinks=false, linkcolor=red, filecolor=magenta, urlcolor=cyan, citecolor=green }

• LaTeX Symbols1 & LaTex Symbols2
• In a math environment, LaTeX ignores the spaces you type and puts in the spacing that it thinks is best. LaTeX formats mathematics the way it's done in mathematics texts. If you want different spacing, LaTeX provides the following four commands for use in math mode:

\; - a thick space
\: - a medium space
\, - a thin space
\! - a negative thin space

---

Other Tools

• arxive - Chrome 웹 스토어 (google.com) arxive 논문 저장용이
• 가상화 입문: 가상머신과 도커를 구분하지 못하는 사람을 위하여
• PowerPoint
• PPT 만들기: 생각부터 PPT 문서까지 전부 보여드립니다!
• Excel & 엑셀 대시보드 만들기
• WaveDrom: Digital Timing Diagram & 관련
• Draw.io: visio 대안 무료 Drawing Program & 관련
• Markdown문법1 & Markdown문법2 & Markdown문법3 & Markdown TongDal
• ReadMe MD Generator
• MkDocs: Project documentation with Markdown
• Github Extensions
• CV Template & 개인 홈페이지 만들기
• Pronunciation - Sounds American Channel
• 브릿센트 x 영국영어
• Learn English with Emma
• Brave browser

---

ETC.

• 대학원생 때 알았더라면 좋았을 것들
• 일 잘하는 사람의 보고서 작성법 | 까이기 딱 좋은 보고서 피하기
• How to write a good review: CVPR 2020 Tutorial
• how-machine-learning-teams-share-and-reuse-features
• 인재가 떠나는 조직의 공통점 9가지
• A Short Chronology Of Deep Learning For Tabular Data