가장 쉬운 anaconda 설치: 파이썬 설치와 딥러닝 준비 [keras --> tf.keras] by 바죠

가장 쉬운 anaconda 설치: 파이썬 설치와 딥러닝 준비 [keras → tf.keras]
Anaconda3 (아나콘다3)?

아나콘다는 패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산을 위해 파이썬과 R 프로그래밍 언어의 자유-오픈 소스 배포판이다. 
패키지 버전들은 패키지 관리 시스템 conda를 통해 관리된다. 
아나콘다 배포판은 1300만 명 이상의 사용자들이 사용하며 윈도우, 리눅스, macOS에 적합한 1,400개 이상의 유명 데이터 과학 패키지가 포함되어 있다.


Anaconda3를 설치하면 약 450여 개의 Packages 들과 함께 Spyder, Jupyter Notebook, IPython 등이 자동으로 설치됩니다. 

가장 친절한 설치 그리고 딥러닝 학습 환경 구축 
아나콘다 설치, 가상환경 설정하기 : https://www.youtube.com/watch?v=vNzPRwzaDS4
주피터 노트북 실행 그리고 텐서프로우 확인 : https://www.youtube.com/watch?v=Qh_zGt4ZOZw

통합개발환경(IDE)들:  스파이더, 아이파이썬, 주피터 노트북

anaconda, 파이썬 설치와 딥러닝 준비 [keras  tf.keras]

아나콘다에 텐서플로우를 설치하면 곧바로 딥러닝을 시작할 수 있다.

Tensorflow 2.0으로 새롭게 시작하는 tensorflow 
keras  tf.keras
tutorial:
https://www.youtube.com/watch?v=QPDsEtUK_D4

파이썬 실행환경 구축, 나아가서 딥러닝 환경구축:
anaconda 설치  [32bit, 64bit인지 확인하고 설치한다.] [individual edition 선택, 개인설정에서 확인가능함. 톱니바퀴--설정--시스템--정보 ]
base(root)에서 새로운 환경 만들기
아주 특정한 목적을 위해서 가상환경을 구축할 수 있다. 
특별히 선별된 패키지들만 별도로 모아서 설치한다. 
그것에 적절한 이름을 붙여 줄 수 있다. 가상환경으로 명명할 수 있다.
새로운 가상환경에 들어가기
이곳에 새로운 패키지 설치하기

base (root) 에서 아래의 명령어를 실행한다.  
conda --version 
conda update conda

새로운 가상환경 설정은 아래와 같이 한다. test라는 이름을 가진 가상환경을 만들 때:
conda create -n testAI    

가상환경을 삭제할 때:
conda remove -n 가상환경 이름 --a    

가상환경 목록을 조회할 때:
conda info --envs
특정 가상환경을 활성화 할 때:          
conda activate testAI
비활성화 할 때:
conda deactivate
conda env list

특정한 가상환경에 tensorflow 설치를 할 경우:
conda activate testAI
conda install tensorflow
conda list

conda install tensorflow-gpu 
TensorFlow GPU 버전을 설치하려면 CUDA Toolkit과 cuDNN 등이 미리 설치되어 있어야 한다. 간단하게 명령어로 설치할 수 있다.

실행 환경/에디터들은 여러 가지가 있다. 많은 분들이 주피터 노트북을 활용한다. 
아이파이썬, 스파이더를 활용해도 좋다. 
파이참도 많이 사용된다.

스파이더 에디터를 설치할 때:
conda install   spyder
주피터 노트북을 설치할 때:
conda install    jupyter notebook

Windows 시작 → 'Anaconda3 (64-bit)' 폴더 아래 → 'Spyder' 아이콘을 클릭
Windows 시작 → 'Anaconda3 (64-bit)' 폴더 아래 → 'Jupyter Notebook' 아이콘을 클릭

주피터 노트북 실행할 때:
jupyter notebook
실행한 다음 아래의 순서로 이동 한다.
[ new  → testAI ]

Anaconda Navigator 화면에서 좌측의 Environments 탭을 클릭하면 가상 환경 목록을 볼 수 있습니다.
처음 설치하면 base(root) 환경만 존재합니다. 
하단의 Create 버튼을 클릭하면 위와 같이 가상환경 생성창이 뜨게 되는데 여기에서 가상 환경의 이름과 파이썬 버전을 지정해 줄 수 있습니다.

가상환경에서 실행 버튼을 클릭하면 실행 메뉴가 나오는데 Open Terminal 을 클릭하면 현재 가상환경 위에서 동작하는 터미널을 실행할 수 있습니다. 

activate base
conda upgrade spyder

conda install pandas numpy tensorflow
conda remove pandas

mac/linux :
source activate my_python_env
windows :
activate my_python_env

가상환경 종료하기
mac/linux :
source deactivate
windows :
deactivate

---------------------------------------------------------------------------------------------------------------------

사용자(Users) 폴더 밑에 한글명 또는 빈칸(blank)이 포함된 사용자 이름의 경우
사용자(Users) 폴더에 새로운 폴더를 만든다. 영문으로 하고 빈칸없이 만든다. 쓰기 권한을 준다.
그곳에 anaconda3을 설치한다. anaconda3 설치할 때, 이 폴더위치를 정확하게 직접 설정해 준다. 이곳 아래에 있는
anaconda3\Scripts 폴더를 경로에 넣어주어야 한다. [제어판 --> 시스템 및 보안 --> 시스템 --> 고급 시스템 설정 --> 환경변수 --> path --> 편집, 환경변수설정, 편집, 경로에 새롭게 추가 작업을 한다.

C:\Users\ ....... 처럼 넣어 준다.
---------------------------------------------------------------------------------------------------------------------

유용한 컴퓨터 프로그램 모음:



Anaconda3, tensorflow, keras, xgboost, lightgbm, catboost, bayesianoptimization, mlens, deslib, graphviz, pydotAnaconda3 설치 방법 (윈도우즈 10 환경 기준): 
Anaconda | Individual Edition "URL클릭 https://www.anaconda.com/products/individual"
→ 접속 후 "download" 문구 클릭"64-Bit Graphical Installer (457 MB)" 문구를 확인하여 파일을 다운로드받는다. 
→ 내 PC 에 저장된 다운로드 파일을 클릭하여 실행시킨다. 
Anaconda3 설치를할 때 아래 두가지 항목에 주의 한다. [두 가지 선택 버튼들을 아래와 같이 한다.] 
all users 를 대상으로 사용할 수 있게 설치한다.경로(path)가 잡히도록 설치한다. 

Anaconda3 설치 직후:
시작 → Anaconda Prompt (Anaconda3) 클릭한다. 
→ 생성된 검은색창 Anaconda Prompt (Anaconda3)에서 몇 가지 종류의 명령어들을 넣어 준다. 
이 명령어들은 이름을 가지는 가상환경 생성 그리고 그 가상환경에 꼭 필요한패키지 설치와 관련된 것들이다. 
자신이 원하는 가상환경, "testAI"라는 이름으로가정한다. [고유의 이름을 가지는 가상환경 생성 명령어]
[여기에서는 특별히 AI학습에 필요한 것들을 의미한다.]입력해야 하는 명령어들의 순서는 아래와 같다. 
이미 생성되어 있는 기본(base) 가상환경에서 출발하여 새로운 가상환경을만든다. 
conda create -n testAI 
conda activate testAI 
pip install matplotlib
pip install opencv-python
pip install imageio
pip install imgaug
pip install jupyter notebook
pip install yapf
pip install autopep8
pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install
conda install tensorflow 
pip install keras 
pip install xgboost 
pip install lightgbm 
pip install catboost 
pip install bayesian-optimization 
pip install mlens 
pip install deslib 
pip install graphviz 
pip install pydot 
{GPU 장비, 즉, NVIDIA GPU 장비가 있을 때, 아래와 같이, 아주 간단하게 명령어들로 설치할 수 있다.
conda install -c anaconda cudatoolkit
conda install -c anaconda cudnn
conda install -c anaconda tensorflow-gpu
conda list cudatoolkit
conda list cudnn
nvidia-smi
nvcc --version
}
이미 설치된 패키지에 대해서는 기존 설치정보를 출력하고 설치작업을 자동으로건너뛴다. 
아래의 세 줄의 명령어들은 주피터 노트북과 관련된 명령어들이다.[위의 명령어들에 연속해서 실행하는 것들이다.] 
[설치작업의 연속이다.] 
pip install ipykernel
python -m ipykernel install --user --name=testAI 
=부호 뒤에 testAI 를 정확히 붙여서 작성해야 한다.
jupyter notebook --generate-config 
[여기에서 가상환경 구성 작업이 종료된다. 사용자 폴더가 기준점이 된다.]

--------------------------------------------------------------------------------------------------------------------

아래의 명령어를 입력하면 Anaconda Prompt (Anaconda3) 창에서 나올 수 있다. 
즉, Anaconda 실행을 멈출 수 있다. 
exit 
Anaconda Prompt (Anaconda3) 창에서 나오기 전에 설치된 패키지를 볼 수 있는 명령어: 
conda env list 
현재 보유하고 있는 가상환경들의 목록을 확인할 수 있다. 명령어 
exit 를이용하여 Anaconda Prompt (Anaconda3)에서 나올 수 있다. 
Anaconda 에서 가상환경을 활성화하고 jupyter notebook 를 실행시킬 수 있다. 
새롭게 Anaconda 에 들어가고자 할 때, 즉, 이번에는 Anaconda 설치가 아니고 실습을 진행하고자 한다. 

jupyter notebook 으로 프로그램을 만들 때, 인공지능 실습을 할 때: 
시작 
→ Anaconda Prompt (Anaconda3) 클릭한다.
→ conda activate testAI → jupyter notebook
검은색 창과 브라우저가 동시에 생성된다. 웹브라우저 창은 창닫기로 종료한다. 
검은색 창에서 jupyter notebook 실행을 중지하는 방법: "control + C"를입력하는 것이다. 
jupyter notebook 실행 후, 아래의 파이썬 코드를 이용해서 텐서플로우의 설치 여부를 확인할 수 있다. 
웹 브라우저 → new → testAI 
아래의 두 줄을 박스안에 타이핑하고, 위에 보이는 실행 버튼을 누른다. [Run 버튼을 클릭해 준다.] 
좌우로 길게 늘어진, 긴 직사각형 창(셀)에 아래 두 줄을 타이핑해서 넣어준다. 
[code 양식이다. markdown 양식이 아니다.]

import keras
print(keras.__version__) 
2.4.3 
import sklearn
print(sklearn.__version__) 
0.23.2 
import tensorflow as tf
print(tf.__version__)
2.3.0
위에서 설치한 graphviz 프로그램의 경우, 설치 후, 설치된 경로를 찾아 내야한다. 
graphviz 는 인공신경망 구성을 나타내는 그림 그리기, decision tree 를표시하는 그림 그리기에 사용된다. 
반드시 설치해야 하는 것은 아니다. 이 경로를환경변수 설정에 추가해주어야 한다. 
1. conda install graphviz 
2. conda install python-graphviz
graphviz 가 설치된 곳으로 이동하여, 경로를 복사한다. 
환경변수의 PATH 에추가하는 것이 목표이다. 
시스템 어디에서나 dot.exe 를 실행할 수 있도록합니다. 
예를 들어, 아래와 같은 문구를 환경변수 PATH 에 추가한다.
C:Program Files (x86)Graphviz2.38bin
환경변수 설정: 
내 PC → 마우스 우 클릭 → 속성 → 고급 시스템 설정 → 환경 변수 → 환경변수를 누른다. 
시스템 변수 섹션에서 PATH 환경 변수를 찾아선택한다. 편집을 누른다. 
PATH 환경 변수가 존재하지 않을 경우 새로 만들기를 누른다.
jupyter notebook 작업관련 디폴트 작업위치: 
사용자(유저) 디렉토리이다.이곳이 기준점이 된다. 
예를 들면 C:/Users/ihlee이 디렉토리에"testAI"라는 폴더를 만들 수 있다. 
[이것이 가장 간단한방법이다.] 
새롭게 생성된 인터넷 웹브라우저로 만들어진 jupyte rnotebook 에서, 
우측 상단 → new → testAI [Markdown 타입은 Markdown 으로 셀의 내용을 작성할 수 있다. 
코드로 실행되지는 않으며,수식을 작성할 수 있다. 수식은 MathJax 에 의해 지원된다.] 
수식이 레이텍수준에서 적히기 때문에 계산결과를 수식과 함께 정리를 할 수 있다. 
jupyter notebook 이 진정한 공책이 되는 것이다. 
다양한 양식으로 변환되는 것을 지원한다.  
따라서, 완성된 jupyter notebook 파일(확장자 *.ipynb)은 매우 다양한 양식으로 저장할 수 있다. 
[File → Download 에서 다양한 저장방식을 선택할 수 있다.] 
[슬라이드, html, pdf, latex, python 스크립트 형식으로 곧바로 변환할 수 있다.] 
jupyter notebook 을 잘 활용하면, 무료 CPU/GPU/TPU 를 제공하는 구글 코랩에서도 별 문제없이적응할 수 있다.

jupyter notebook 사용법 [간략한 정리] [명령어 모드, 편집 모드 두 가지가 있다.]
* Shift + Enter 키를 누르면 셀이 실행되고 커서가 다음 셀로 이동한다.
* Enter 키를 누르면 다시 편집상태로 돌아온다. [편집 모드]
* ESC 키를 누르고 [명령어 모드]
* a 키를 누르면 위에 셀이 추가된다
* b 키를 누르면 아래에 셀이 추가된다.
* dd 키를 누르면 셀이 삭제된다.
* m 키를 누르면 문서 셀로 변경된다.
* y 키를 누르면 코드 셀로 변경된다.
h 단축키 설명 
스톱 버튼으로 실행 중지 
kernel → clear output [출력 결과들만 제거한다.]

개발환경은 jupyter notebook 이 많이 활용된다. 
하지만, jupyter notebook 대신에 spyder 를 사용하여 프로그램을 개발할 수 있다. 
spyder 를 선호하는 분들도 있다. 물론, 사용자가 하나를 선택하는 것이다. 무엇을 선택하던 상관없다. 
jupyter notebook 으로 프로그램을 개발했다면, 이것을 아주 손쉽게 파이썬 스크립트형식으로 변환할 수 있다. 
File → Download → Python (*.py) 로 “내려받으면” PC 다운로드 폴더에 *.py 형식으로 파일이 저장된다. 
이것을 복사하면 쉽게 spyder 에서 사용할 수 있다.

GPU 계산을 원하는 경우:

1. Anaconda 설치- Python 3.7 version- Anaconda Prompt 실행- VirtualEnv 설치: 
pip install virtualenv- VirtualEnv 생성: conda create -n venv pip python=3.7
-- VirtualEnv 진입: conda activate venv
-- VirtualEnv 해제: conda deactivate

2. CUDA 및 CuDNN 설치- 현재 기준 (2019.07.14) Tensorflow (>= ver 1.13)은 CUDA 10 만지원, 예를 들면 그렇다. 엔비디아 회원 가입해야 다운로드 할 수 있다.
-- (https://developer.nvidia.com/cuda-toolkit-archive)- CUDA 10 기준 CuDNN 설치-- (https://developer.nvidia.com/cudnn)- 설치 후 PATH 설정 (윈도우 커맨드 창에 입력)
1)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin;%PATH%
2)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\libx64;%PATH%
3)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include;%PATH% 
4) SET PATH=C:\tools\cuda\bin;%PATH%* 위 4) 의 경우 CuDNN 압축 푼 폴더를 해당 디렉토리에 복사 후PATH 등록

3. Tensorflow-gpu 설치
- VirtualEnv 진입 상태에서,- pip install tensorflow-gpu

4. Keras 설치
- VirtualEnv 진입 상태에서,- pip install keras 
아래의 3가지 명령어를 이용하는 것이 휠씬 정확하고 간편하다. [엔비디아 그래픽 카드가 있을 때.]
conda install -c anaconda cudatoolkit
conda install -c anaconda cudnn
conda install -c anaconda tensorflow-gpu


conda list cudatoolkit
conda list cudnn
nvidia-smi
nvcc --version


--------------------------------------------------------------------------------------------------------------

2012년이 딥러닝의 원년이다.
2011년 Relu 함수의 출현 : vanishing gradient problem 해결, 표현력이 높은 딥러닝이 시작됨.
2012년 Dropout 방법의 출현 : overfitting problem 해결, 정규화된 훈련이 가능함. regularization의 도입.
2012년 CNN 출현 : 방대한 이미지 데이터 처리 문제 해결, 비대칭 데이터에 대한 처리가 가능함.
2013년 VAE 출현: 생성모델로서 다양한 가능성을 제안함.
2014년 GAN 출현: 생성모델로서 많은 응용 가능성을 제안함.
2015년 TensorFlow 구현의 출현과 보급 : 실질적인 딥러닝의 민주화가 단행됨.
2016년 알파고 출현 : 바둑 정복
2017년 알파고 제로 출현 : tabula rasa, first-principles 방법을 이용하여 바둑 정복, 진정한 바둑의 정복이 가능함. 기보없이 바둑 정복함. 프로기사에게 절대로 지지 않는 사실상 바둑의 신이 탄생함. 바둑의 역사 5000년 Mastering the game of Go without human knowledge | Nature http://incredible.egloos.com/7372719
2017년 cycleGAN 출현 http://incredible.egloos.com/7530913
2018년 알파폴드 출현
2021년 플로어플랜닝 (반도체 칩 설계) A graph placement methodology for fast chip design | Nature
2021년 나우캐스팅 (단기 일기예보) https://www.nature.com/articles/s41586-021-03854-z
2022년 알파코드  https://alphacode.deepmind.com/

--------------------------------------------------------------------------------------------------------------


--------------------------------------------------------------------------------------------------------------

핑백

덧글

  • 바죠 2021/06/08 08:41 # 답글

    # scipy
    import scipy
    print('scipy: %s' % scipy.__version__)
    # numpy
    import numpy
    print('numpy: %s' % numpy.__version__)
    # matplotlib
    import matplotlib
    print('matplotlib: %s' % matplotlib.__version__)
    # pandas
    import pandas
    print('pandas: %s' % pandas.__version__)
    # statsmodels
    import statsmodels
    print('statsmodels: %s' % statsmodels.__version__)
    # scikit-learn
    import sklearn
    print('sklearn: %s' % sklearn.__version__)


    # Check the versions of libraries

    # Python version
    import sys
    print('Python: {}'.format(sys.version))
    # scipy
    import scipy
    print('scipy: {}'.format(scipy.__version__))
    # numpy
    import numpy
    print('numpy: {}'.format(numpy.__version__))
    # matplotlib
    import matplotlib
    print('matplotlib: {}'.format(matplotlib.__version__))
    # pandas
    import pandas
    print('pandas: {}'.format(pandas.__version__))
    # scikit-learn
    import sklearn
    print('sklearn: {}'.format(sklearn.__version__))

  • 바죠 2022/03/09 08:29 # 답글

    https://medium.com/ibm-data-ai/memory-hygiene-with-tensorflow-during-model-training-and-deployment-for-inference-45cf49a15688

    GPU 메모리 사용, tensorflow
댓글 입력 영역

최근 포토로그