anaconda, 파이썬 설치와 딥러닝 준비 [keras --> tf.keras] by 바죠

Anaconda3 (아나콘다3)?

아나콘다는 패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산을 위해 파이썬과 R 프로그래밍 언어의 자유-오픈 소스 배포판이다. 
패키지 버전들은 패키지 관리 시스템 conda를 통해 관리된다. 
아나콘다 배포판은 1300만 명 이상의 사용자들이 사용하며 윈도우, 리눅스, macOS에 적합한 1,400개 이상의 유명 데이터 과학 패키지가 포함되어 있다.


Anaconda3를 설치하면 약 450여 개의 Packages 들과 함께 Spyder, Jupyter Notebook, IPython 등이 자동으로 설치됩니다. 

가장 친절한 설치 그리고 딥러닝 학습 환경 구축 -->
아나콘다 설치, 가상환경 설정하기 : https://www.youtube.com/watch?v=vNzPRwzaDS4
주피터 노트북 실행 그리고 텐서프로우 확인 : https://www.youtube.com/watch?v=Qh_zGt4ZOZw

통합개발환경(IDE)들:  스파이더, 아이파이썬, 주피터 노트북

anaconda, 파이썬 설치와 딥러닝 준비 [keras --> tf.keras]

아나콘다에 텐서플로우를 설치하면 곧바로 딥러닝을 시작할 수 있다.

Tensorflow 2.0으로 새롭게 시작하는 tensorflow 
keras --> tf.keras
tutorial:
https://www.youtube.com/watch?v=QPDsEtUK_D4

파이썬 실행환경 구축, 나아가서 딥러닝 환경구축:
anaconda 설치  [32bit, 64bit인지 확인하고 설치한다.] [individual edition 선택, 개인설정에서 확인가능함. 톱니바퀴--설정--시스템--정보 ]
base(root)에서 새로운 환경 만들기
아주 특정한 목적을 위해서 가상환경을 구축할 수 있다. 
특별히 선별된 패키지들만 별도로 모아서 설치한다. 
그것에 적절한 이름을 붙여 줄 수 있다. 가상환경으로 명명할 수 있다.
새로운 가상환경에 들어가기
이곳에 새로운 패키지 설치하기

base (root) 에서 아래의 명령어를 실행한다.  
conda --version 
conda update conda

새로운 가상환경 설정은 아래와 같이 한다. test라는 이름을 가진 가상환경을 만들 때:
conda create -n testAI    

가상환경을 삭제할 떄:
conda remove -n 가상환경 이름 --a    

가상환경 목록을 조회할 때:
conda info --envs
특정 가상환경을 활성화 할 때:          
conda activate testAI
비활성화 할 때:
conda deactivate
conda env list

특정한 가상환경에 tensorflow 설치를 할 경우:
conda activate testAI
conda install tensorflow
conda list

conda install tensorflow-gpu
TensorFlow GPU 버전을 설치하려면 CUDA Toolkit과 cuDNN 등이 미리 설치되어 있어야 한다. 

실행 환경/에디터들은 여러 가지가 있다. 많은 분들이 주피터 노트북을 활용한다. 
아이파이썬, 스파이더를 활용해도 좋다. 
파이참도 많이 사용된다.

스파이더 에디터를 설치할 때:
conda install   spyder
주피터 노트북을 설치할 때:
conda install    jupyter notebook

Windows 시작 --> 'Anaconda3 (64-bit)' 폴더 아래 --> 'Spyder' 아이콘을 클릭
Windows 시작 --> 'Anaconda3 (64-bit)' 폴더 아래 --> 'Jupyter Notebook' 아이콘을 클릭

주피터 노트북 실행할 때:
jupyter notebook
실행한 다음 아래의 순서로 이동 한다.
[ new  --> testAI ]

Anaconda Navigator 화면에서 좌측의 Environments 탭을 클릭하면 가상 환경 목록을 볼 수 있습니다.
처음 설치하면 base(root) 환경만 존재합니다. 
하단의 Create 버튼을 클릭하면 위와 같이 가상환경 생성창이 뜨게 되는데 여기에서 가상 환경의 이름과 파이썬 버전을 지정해 줄 수 있습니다.

가상환경에서 실행 버튼을 클릭하면 실행 메뉴가 나오는데 Open Terminal 을 클릭하면 현재 가상환경 위에서 동작하는 터미널을 실행할 수 있습니다. 

activate base
conda upgrade spyder

conda install pandas numpy tensorflow
conda remove pandas

mac/linux :
source activate my_python_env
windows :
activate my_python_env

가상환경 종료하기
mac/linux :
source deactivate
windows :
deactivate



유용한 컴퓨터 프로그램 모음:



Anaconda3, tensorflow, keras, xgboost, lightgbm, catboost, bayesianoptimization, mlens, deslib, graphviz, pydotAnaconda3 설치 방법 (윈도우즈 10 환경 기준): 
Anaconda | Individual Edition "URL클릭 https://www.anaconda.com/products/individual"
→ 접속 후 "download" 문구 클릭"64-Bit Graphical Installer (457 MB)" 문구를 확인하여 파일을 다운로드받는다. 
→ 내 PC 에 저장된 다운로드 파일을 클릭하여 실행시킨다. 
Anaconda3 설치를할 때 아래 두가지 항목에 주의 한다. [두가지 선택 버튼들을 아래와 같이 한다.] 
all users 를 대상으로 사용할 수 있게 설치한다.경로(path)가 잡히도록 설치한다. 

Anaconda3 설치 직후:
시작 → Anaconda Prompt (Anaconda3) 클릭한다. 
→ 생성된 검은색창 Anaconda Prompt (Anaconda3)에서 몇 가지 종류의 명령어들을 넣어 준다. 
이 명령어들은 이름을 가지는 가상환경 생성 그리고 그 가상환경에 꼭 필요한패키지 설치와 관련된 것들이다. 
자신이 원하는 가상환경, "testAI"라는 이름으로가정한다. [고유의 이름을 가지는 가상환경 생성 명령어]
[여기에서는 특별히 AI학습에 필요한 것들을 의미한다.]입력해야 하는 명령어들의 순서는 아래와 같다. 
이미 생성되어 있는 기본(base) 가상환경에서 출발하여 새로운 가상환경을만든다. 
conda create -n testAI 
conda activate testAI 
conda install tensorflow 
pip install keras 
pip install xgboost 
pip install lightgbm 
pip install catboost 
pip install bayesian-optimization 
pip install mlens 
pip install deslib 
pip install graphviz 
pip install pydot 
pip install jupyter notebook 
이미 설치된 패키지에 대해서는 기존 설치정보를 출력하고 설치작업을 자동으로건너뛴다. 
아래의 세 줄의 명령어들은 주피터 노트북과 관련된 명령어들이다.[위의 명령어들에 연속해서 실행하는 것들이다.] 
[설치작업의 연속이다.] 
pip install ipykernel
python -m ipykernel install --user --name=testAI 
=부호 뒤에 testAI 를 정확히 붙여서 작성해야 한다.
jupyter notebook --generate-config 
[여기에서 가상환경 구성 작업이 종료된다. 사용자 폴더가 기준점이 된다.]
아래의 명령어를 입력하면 Anaconda Prompt (Anaconda3) 창에서 나올 수있다. 
즉, Anaconda 실행을 멈출 수 있다. 
exit 
Anaconda Prompt (Anaconda3) 창에서 나오기 전에 설치된 패키지를 볼 수있는 명령어: 
conda env list 
현재 보유하고 있는 가상환경들의 목록을 확인할 수 있다. 명령어 
exit 를이용하여 Anaconda Prompt (Anaconda3)에서 나올 수 있다. 
Anaconda 에서 가상환경을 활성화하고 jupyter notebook 를 실행시킬 수 있다. 
새롭게 Anaconda 에 들어가고자 할 때, 즉, 이번에는 Anaconda 설치가 아니고실습을 진행하고자 한다. 

jupyter notebook 으로 프로그램을 만들 때, 인공지능실습을 할 때: 
시작 
→ Anaconda Prompt (Anaconda3) 클릭한다.
→ conda activate testAI → jupyter notebook
검은색 창과 브라우저가 동시에 생성된다. 웹브라우저 창은 창닫기로 종료한다. 
검은색 창에서 jupyter notebook 실행을 중지하는 방법: "control + C"를입력하는 것이다. 
jupyter notebook 실행 후, 아래의 파이썬 코드를 이용해서 텐서플로우의 설치여부를 확인할 수 있다. 
웹 브라우저 → new → testAI 
아래의 두 줄을 박스안에 타이핑하고, 위에 보이는실행버튼을 누른다. [Run 버튼을 클릭해 준다.] 
좌우로 길게 늘어진, 긴 직사각형창(셀)에 아래 두 줄을 타이핑해서 넣어준다. 
[code 양식이다. markdown 양식이아니다.]

import keras
print(keras.__version__) 
2.4.3 
import sklearn
print(sklearn.__version__) 
0.23.2 
import tensorflow as tf
print(tf.__version__)
2.3.0
위에서 설치한 graphviz 프로그램의 경우, 설치 후, 설치된 경로를 찾아 내야한다. 
graphviz 는 인공신경망 구성을 나타내는 그림 그리기, decision tree 를표시하는 그림 그리기에 사용된다. 
반드시 설치해야 하는 것은 아니다. 이 경로를환경변수 설정에 추가해주어야 한다. 
1. conda install graphviz 
2. conda install python-graphviz
graphviz 가 설치된 곳으로 이동하여, 경로를 복사한다. 
환경변수의 PATH 에추가하는 것이 목표이다. 
시스템 어디에서나 dot.exe 를 실행할 수 있도록합니다. 
예를 들어, 아래와 같은 문구를 환경변수 PATH 에 추가한다.
C:Program Files (x86)Graphviz2.38bin
환경변수 설정: 
내 PC → 마우스 우 클릭 → 속성 → 고급 시스템 설정 → 환경 변수 → 환경변수를 누른다. 
시스템 변수 섹션에서 PATH 환경 변수를 찾아선택한다. 편집을 누른다. 
PATH 환경 변수가 존재하지 않을 경우 새로 만들기를 누른다.
jupyter notebook 작업관련 디폴트 작업위치: 
사용자(유저) 디렉토리이다.이곳이 기준점이 된다. 
예를 들면 C:/Users/ihlee이 디렉토리에"testAI"라는 폴더를 만들 수 있다. 
[이것이 가장 간단한방법이다.] 
새롭게 생성된 인터넷 웹브라우저로 만들어진 jupyte rnotebook 에서, 
우측 상단 → new → testAI [Markdown 타입은 Markdown 으로 셀의 내용을 작성할 수 있다. 
코드로 실행되지는 않으며,수식을 작성할 수 있다. 수식은 MathJax 에 의해 지원된다.] 
수식이 레이텍수준에서 적히기 때문에 계산결과를 수식과 함께 정리를 할 수 있다. 
jupyter notebook 이 진정한 공책이 되는 것이다. 
다양한 양식으로 변환되는 것을 지원한다.  
따라서, 완성된 jupyter notebook 파일(확장자 *.ipynb)은 매우 다양한 양식으로 저장할 수 있다. 
[File → Download 에서 다양한 저장방식을 선택할 수 있다.] 
[슬라이드, html, pdf, latex, python 스크립트 형식으로 곧바로 변환할 수 있다.] 
jupyter notebook 을 잘 활용하면, 무료 CPU/GPU/TPU 를 제공하는 구글 코랩에서도 별 문제없이적응할 수 있다.

jupyter notebook 사용법 [간략한 정리] [명령어 모드, 편집 모드 두 가지가 있다.]
* Shift + Enter 키를 누르면 셀이 실행되고 커서가 다음 셀로 이동한다.
* Enter 키를 누르면 다시 편집상태로 돌아온다. [편집 모드]
* ESC 키를 누르고 [명령어 모드]
* a 키를 누르면 위에 셀이 추가된다
* b 키를 누르면 아래에 셀이 추가된다.
* dd 키를 누르면 셀이 삭제된다.
* m 키를 누르면 문서 셀로 변경된다.
* y 키를 누르면 코드 셀로 변경된다.
h 단축키 설명 
스톱 버튼으로 실행 중지 
kernel → clear output [출력 결과들만 제거한다.]

개발환경은 jupyter notebook 이 많이 활용된다. 
하지만, jupyter notebook 대신에 spyder 를 사용하여 프로그램을 개발할 수 있다. 
spyder 를선호하는 분들도 있다. 물론, 사용자가 하나를 선택하는 것이다. 
jupyter notebook 으로 프로그램을 개발했다면, 이것을 아주 손쉽게 파이썬 스크립트형식으로 변환할 수 있다. 
File → Download → Python (*.py) 로 “내려받으면” PC 다운로드 폴더에 *.py 형식으로 파일이 저장된다. 
이것을 복사하면 쉽게spyder 에서 사용할 수 있다.


GPU 계산을 원하는 경우:

1. Anaconda 설치- Python 3.7 version- Anaconda Prompt 실행- VirtualEnv 설치: 
pip install virtualenv- VirtualEnv 생성: conda create -n venv pip python=3.7
-- VirtualEnv 진입: conda activate venv
-- VirtualEnv 해제: conda deactivate

2. CUDA 및 CuDNN 설치- 현재 기준 (2019.07.14) Tensorflow (>= ver 1.13)은 CUDA 10 만지원, 예를 들면 그렇다. 엔비디아 회원 가입해야 다운로드 할 수 있다.
-- (https://developer.nvidia.com/cuda-toolkit-archive)- CUDA 10 기준 CuDNN 설치-- (https://developer.nvidia.com/cudnn)- 설치 후 PATH 설정 (윈도우 커맨드 창에 입력)
1)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin;%PATH%
2)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\libx64;%PATH%
3)SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include;%PATH% 
4) SET PATH=C:\tools\cuda\bin;%PATH%* 위 4) 의 경우 CuDNN 압축 푼 폴더를 해당 디렉토리에 복사 후PATH 등록

3. Tensorflow-gpu 설치
- VirtualEnv 진입 상태에서,- pip install tensorflow-gpu

4. Keras 설치
- VirtualEnv 진입 상태에서,- pip install keras 


핑백

덧글

  • 바죠 2021/06/08 08:41 # 답글

    # scipy
    import scipy
    print('scipy: %s' % scipy.__version__)
    # numpy
    import numpy
    print('numpy: %s' % numpy.__version__)
    # matplotlib
    import matplotlib
    print('matplotlib: %s' % matplotlib.__version__)
    # pandas
    import pandas
    print('pandas: %s' % pandas.__version__)
    # statsmodels
    import statsmodels
    print('statsmodels: %s' % statsmodels.__version__)
    # scikit-learn
    import sklearn
    print('sklearn: %s' % sklearn.__version__)


    # Check the versions of libraries

    # Python version
    import sys
    print('Python: {}'.format(sys.version))
    # scipy
    import scipy
    print('scipy: {}'.format(scipy.__version__))
    # numpy
    import numpy
    print('numpy: {}'.format(numpy.__version__))
    # matplotlib
    import matplotlib
    print('matplotlib: {}'.format(matplotlib.__version__))
    # pandas
    import pandas
    print('pandas: {}'.format(pandas.__version__))
    # scikit-learn
    import sklearn
    print('sklearn: {}'.format(sklearn.__version__))

댓글 입력 영역

최근 포토로그



MathJax