티스토리

행복한 톱니바퀴

검색하기

블로그 홈

행복한 톱니바퀴

engyjoon.tistory.com/m

engyjoon 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

kaggle competitions download 403 에러 대응하기 kaggle competitions download 명령어 실행 시 403 에러가 발생한다면 Rules 탭에서 "I Understand and Accept" 버튼을 선택해야한다. [참고] https://curioso365.tistory.com/98 공감수 0 댓글수 0 2021. 2. 13.
Window 10에서 Tensorflow GPU 환경 구성하기 Anaconda Prompt에서 가상환경을 활성화한다. conda activate test tensorflow와 tensorflow-gpu를 설치한다. pip install tensorflow==2.4.0 pip install tensorflow-gpu==2.4.0 ipykernel을 설치하고 jupyterlab에서 사용할 kernel을 설정한다. pip install ipykernel python -m ipykernel install --user --name test_venv --display-name "tensorflow2.4.0" jupyter kernelspec list ※ kernel 삭제를 위해서는 아래 명령어를 사용한다. jupyter kernelspec uninstall "tensorflo.. 공감수 0 댓글수 0 2021. 2. 5.
Window10에서 CUDA 설치하기 Tensorflow install 가이드에서 tensorflow_gpu, Python, cuDDNN, CUDA 조합을 확인한다. www.tensorflow.org/install/source_windows ※ 그래픽카드에 해당하는 Compute capability (version)을 찾은 후 사용 가능한 CUDA 버전을 확인할 수도 있다. https://en.wikipedia.org/wiki/CUDA#Version_features_and_specifications 아래 사이트에서 CUDA SDK 설치 파일을 다운로드 받아 설치한다. https://developer.nvidia.com/cuda-toolkit-archive 아래 사이트에서 cuDNN 파일을 다운로드 받는다. (로그인 필요) https://de.. 공감수 0 댓글수 0 2021. 2. 1.
Anaconda update하기 Anaconda Prompt를 실행한 후 Anaconda를 update한다. conda update --name base conda Anaconda 내 package들을 update한다. conda update --all pip를 update한다. pip install --upgrade pip [참고] https://kuduz.tistory.com/1171 공감수 0 댓글수 0 2021. 1. 28.
JupyterLab 자동완성 기능이 불가능할 때 해결하기 [방법1] notebook 시작 부분에 아래 magic command를 입력한다. %config IPCompleter.use_jedi = False [방법2] User home directory에 ipython config 파일을 입력한다. (Example : C:\Users\user01\.ipython\profile_default\ipython_config.py) c.IPCompleter.use_jedi = False [방법3] jedi package를 삭제한다. pip uninstall jedi [참고] https://stackoverflow.com/questions/40536560/ipython-and-jupyter-autocomplete-not-working http://www.legendu.ne.. 공감수 0 댓글수 0 2021. 1. 27.
Anaconda에서 python 가상 환경 사용하기 Anaconda Prompt를 실행한 후 현재 가상환경을 확인한다. conda env list python version을 확인한다. python --version 가상 환경을 생성한다. conda create --name test_venv python=3.8 생성한 가상 환경을 확인한다. conda env list 가상 환경을 활성화한다. conda activate test jupyterlab을 설치한다. conda install jupyterlab jupyterlab을 실행한다. jupyter lab 가상 환경 삭제하기 conda deactivate conda remove --name test_venv --all [참고] https://niceman.tistory.com/85 공감수 0 댓글수 0 2021. 1. 26.
Window에서 Anaconda 설치하기 아래 page에서 Anaconda Installer를 다운로드한다. https://www.anaconda.com/products/individual#windows ※ 가장 아래 부분에 있다. Anaconda Installer를 사용해 Anaconda를 설치한다. Anaconda Navigator를 실행한다. 공감수 0 댓글수 0 2021. 1. 25.
pandas groupby 함수 사용하기 [준비] dataframe 생성 import pandas as pd list_val = [ ['xab', 'yab1', 1, 2, 3], ['xab', 'yab2', 1, 5, 6], ['xcd', 'ycd1', 7, 8, 9], ['xcd', 'ycd2', 10, 11, 12], ['xef', 'yef1', 13, 14, 15] ] list_col = ['col1', 'col2', 'col3', 'col4', 'col5'] list_idx = ['a', 'b', 'c', 'd', 'e'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) df_a 1개 column 기준으로 grouping하여 모든 data를 조회한다. df_a.groupb.. 공감수 0 댓글수 0 2021. 1. 25.
numpy 숫자 배열 생성하기 ones, zeros, full, arange, random.randint 함수를 사용할 수 있다. [준비] import import numpy as np ones 함수를 사용해 1을 입력한다. narr_a = np.ones((2, 5)) narr_a zeros 함수를 사용해 0을 입력한다. narr_b = np.zeros((2, 5)) narr_b full 함수를 사용해 특정 숫자를 입력한다. narr_c = np.full((2, 5), 7) narr_c arange 함수를 사용해 범위 내 순서가 있는 숫자를 입력한다. narr_d = np.arange(1, 11, 1).reshape(2, 5) narr_d random.randint 함수를 사용해 범위 내 순서가 없는 숫자를 입력한다. narr_e =.. 공감수 0 댓글수 0 2021. 1. 25.
Mac PC에서 CLI 모드로 USB 포맷하기 Mac PC에서 UBS에 CentOS 7 설치 이미지를 복사해서 USB를 사용하다가 USB를 다시 일반적인 용도로 사용하기 위해 Window와 Mac에서 GUI 모드로 포맷을 하려고 했지만 실패했다. 결국 Mac PC에서 CLI 모드로 포맷을 성공했다. $ diskutil list sudo diskutil eraseDisk FAT32 USB MBRFormat /dev/disk3 [참고] https://enirobot.tistory.com/4 공감수 0 댓글수 0 2021. 1. 23.
pandas dataframe 조건 조회하기 [준비] dataframe 생성 import pandas as pd list_val = [ ['xab1', 'yab1', 1, 2, 3], ['xab2', 'yab2', 1, 5, 6], ['xcd3', 'ycd3', 7, 8, 9], ['xcd4', 'ycd4', 10, 11, 12], ['xef5', 'yef5', 13, 14, 15] ] list_col = ['col1', 'col2', 'col3', 'col4', 'col5'] list_idx = ['a', 'b', 'c', 'd', 'e'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) df_a 1개 숫자 column을 비교하여 조회한다. df_a.loc[df_a['col3'] .. 공감수 0 댓글수 0 2021. 1. 22.
pandas dataframe에서 integer location으로 dataframe 조회하기 [준비] dataframe 생성 import pandas as pd list_val = [ [1, 2, 3], [1, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15] ] list_col = ['col1', 'col2', 'col3'] list_idx = ['a', 'b', 'c', 'd', 'e'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) df_a ※ integer location은 조회한 dataframe에서 보이지 않는다. [방법1] row integer loaction 기준으로 dataframe 1개 조회 df_a.iloc[[0]] ※ [0] 대신 0을 입력하면 dataframe이 아니라 ser.. 공감수 0 댓글수 0 2021. 1. 22.
pandas dataframe에서 column으로 dataframe 조회하기 [준비] dataframe 생성 import pandas as pd list_val = [ ['x1', 'y1', 1, 2, 3], ['x2', 'y2', 1, 5, 6], ['x3', 'y3', 7, 8, 9] ] list_col = ['col1', 'col2', 'col3', 'col4', 'col5'] list_idx = ['a', 'b', 'c'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) df_a 1개의 column의 구성된 dataframe을 조회한다. loc를 사용하는 대신 대괄호 2개를 사용한다. df_a[['col1']] ※ df_a.loc[:, ['col1']] 표현으로도 동일한 결과를 조회할 수 있다. (row 생.. 공감수 0 댓글수 0 2021. 1. 22.
pandas dataframe에서 index로 dataframe 조회하기 [준비] dataframe 생성 import pandas as pd list_val = [ [1, 2, 3], [1, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15] ] list_col = ['col1', 'col2', 'col3'] list_idx = ['a', 'b', 'c', 'd', 'e'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) [방법1] data 1개 조회 df_a.loc[['a']] ※ index를 ['a']가 아니라 'a'로 지정하면 dataframe이 아닌 series로 조회된다. ※ loc에는 index와 value를 함께 지정할 수 있다. value 생략의 명시적 표현은 아래와 .. 공감수 0 댓글수 0 2021. 1. 21.
pandas dataframe column unique value 확인하기 [준비] dataframe 생성 import pandas as pd from math import nan list_val = [ ['x1', 'x2', 3], ['y4', 'y5', 6], ['z7', 'z8', 9], ['x1', 'x2', 3], ['y4', 'y5', 6], ['z7', 'z8', 9], [nan, 'x2', 3] ] list_col = ['col1', 'col2', 'col3'] list_idx = ['a', 'b', 'c', 'd', 'e', 'f', 'g'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) unique 함수를 사용해 특정 column의 unique value를 확인한다. df_a['col1'].u.. 공감수 0 댓글수 0 2021. 1. 21.
pandas dataframe 정렬하기 [준비] dataframe 생성 import pandas as pd list_val = [ [1, 2, 3], [1, 5, 6], [7, 8, 9] ] list_col = ['col1', 'col2', 'col3'] list_idx = ['a', 'b', 'c'] df_a = pd.DataFrame(list_val, columns=list_col, index=list_idx) sort_index 함수를 사용해 index를 기준으로 정렬한다. df_a.sort_index(ascending=False) df_a sort_values 함수를 사용해 value를 기준으로 정렬한다. df_a.sort_values(by='col1', ascending=False) sort_values 함수의 매개변수에 list를 .. 공감수 0 댓글수 0 2021. 1. 21.
pandas dataframe index 다루기 [준비] index가 없는 dataframe 생성 import pandas as pd list_val = [ ['a', 1, 2, 3], ['b', 4, 5, 6], ['c', 7, 8, 9] ] list_col = ['col1', 'col2', 'col3', 'col4'] df_a = pd.DataFrame(list_val, columns=list_col) df_a set_index 함수를 사용해 특정 column을 index로 변경한다. df_a.set_index('col1', inplace=True) df_a index name을 삭제한다. df_a.index.name = None df_a reset_index 함수를 사용해 index를 다시 column으로 변경한다. df_a.reset_index.. 공감수 0 댓글수 0 2021. 1. 21.
pandas에서 연속 날짜 구하기 date_range 함수를 사용한다. import pandas as pd pd.date_range('2020-01-01', periods=31) 공감수 0 댓글수 0 2021. 1. 21.
numpy random 패키지 사용하기 [준비] import import pandas as pd import numpy as np import matplotlib.pyplot as plt rand 함수를 사용해 0부터 1사이의 균일 분포 임의 실수를 구할 수 있다. pd.DataFrame(np.random.rand(1000)).plot(kind='hist') plt.show() randn 함수를 사용해 가우시안 표준 정규 분포 임의 실수를 구할 수 있다. pd.DataFrame(np.random.randn(1000)).plot(kind='hist') plt.show() randint 함수를 사용해 균일 분포 임의 정수를 구할 수 있다. np.random.randint(1, 100, size=10) array([98, 52, 63, 63, 23.. 공감수 0 댓글수 0 2021. 1. 21.
pandas로 csv 파일 읽기 [준비] import import pandas as pd comma로 잘 구분되어 있고 column name도 있다면 filepath만 설정해도 된다. filepath = 'test.csv' df_a = pd.read_csv( filepath, sep=',', header=0 ) ※ sep : default ',' ※ header : default 0 만약 column name이 없다면 names 옵션을 사용한다. filepath = 'test.csv' df_a = pd.read_csv( filepath, sep=',', header=None, names=['col1', 'col2', 'col3'] ) 특정 column을 index로 생성하기 위해 index_col 옵션을 사용한다. filepath = .. 공감수 0 댓글수 0 2021. 1. 21.
python dictionary로 pandas dataframe 생성하기 dictionary로 dataframe을 생성하면 dictionary의 key가 dataframe의 column이 된다. dataframe의 index는 list로 설정해 주어야 한다. import pandas as pd dict_val = { 'key1': ['a', 'b', 'c'], 'key2': [1, 2, 3], 'key3': [4, 5, 6], 'key4': [7, 8, 9] } list_idx = ['idx1', 'idx2', 'idx3'] df_a = pd.DataFrame(dict_val, index=list_idx) df_a 공감수 0 댓글수 0 2021. 1. 21.
python list로 pandas dataframe 생성하기 [방법1] value, column으로 dataframe 생성 import pandas as pd list_val = [ ['a', 1, 2, 3], ['b', 4, 5, 6], ['c', 7, 8, 9] ] list_col = ['col1', 'col2', 'col3', 'col4'] df_a = pd.DataFrame(list_val, columns=list_col) df_a [방법2] value, column, index로 dataframe 생성 import pandas as pd list_val = [ ['a', 1, 2, 3], ['b', 4, 5, 6], ['c', 7, 8, 9] ] list_col = ['col1', 'col2', 'col3', 'col4'] list_idx = ['idx1.. 공감수 0 댓글수 0 2021. 1. 21.
matplotlib.pyplot 화질 향상시키기 import numpy as np import pandas as pd import matplotlib.pyplot as plt %config InlineBackend.figure_format='retina' dict_a = {'a': 1, 'b': 2, 'c': 3} srs_a = pd.Series(dict_a) srs_a.plot(kind='bar') plt.show() 공감수 0 댓글수 0 2021. 1. 20.
pandas series value 확인하기 index를 사용해 value 를 조회하기 위해 loc를 사용한다. import pandas as pd dict_a = {'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5} srs_a = pd.Series(dict_a) print('# value 1개 조회') var_a = srs_a.loc['a'] print(type(var_a)) print(var_a) print() print('# value 여러개 조회 - slicing 사용') var_a = srs_a.loc['a':'c'] print(type(var_a)) print(var_a) print() print('# value 여러개 조회 - list 사용') var_a = srs_a.loc[['a', 'c']] print(type.. 공감수 0 댓글수 0 2021. 1. 20.
pandas series index 생성하기 dictionary로 series를 생성하였다면 dictionary의 key가 series의 index로 생성된다. import pandas as pd dict_a = {'a': 1, 'b': 2, 'c': 3} srs_a = pd.Series(dict_a) print(srs_a) a 1 b 2 c 3 dtype: int64 list로 옵션 없이 series를 생성하였다면 series의 index는 0부터 순차적으로 생성된다. import pandas as pd list_a = [1, 2, 3] srs_a = pd.Series(list_a) print(srs_a) 0 1 1 2 2 3 dtype: int64 series 생성 시 index를 생성하기 위해서는 index 옵션을 사용해야 한다. import.. 공감수 0 댓글수 0 2021. 1. 20.
pandas series를 list와 dictionary로 변환하기 list와 dictionary를 series로 변환할 수 있다. 반대로 series를 list와 dictionary로 쉽게 변환할 수 있다. series를 list로 변환한다. import pandas as pd list_a = [1, 2, 3, 4, 5] srs_a = pd.Series(li_a) list_b = list(srs_a) print(list_b) [1, 2, 3, 4, 5] series를 dictionary로 변환한다. import pandas as pd dict_a = {'a': 1, 'b':2, 'c': 3} srs_a = pd.Series(dict_a) dict_b = dict(srs_a) print(dict_b) {'a': 1, 'b': 2, 'c': 3} 공감수 0 댓글수 0 2021. 1. 20.
numpy reshape 함수 사용하기 배열에 포함된 요소가 사라지지 않는 형태라면 자유롭게 reshape할 수 있다. reshape 함수 파라미터에 -1을 입력하면 나머지 axis 수를 계산해준다. import numpy as np list_a = [1, 2, 3, 4, 5, 6] narr_a = np.array(list_a) narr_b = narr_a.reshape(2, 3) print(narr_b) print() narr_c = narr_b.reshape(3, -1) print(narr_c) [[1 2 3] [4 5 6]] [[1 2] [3 4] [5 6]] 공감수 0 댓글수 0 2021. 1. 20.
numpy array 속성 확인하기 import numpy as np list_a = [1, 2, 3, 4, 5] narr_a = np.array(list_a) # 배열 차원 print(narr_a.ndim) # axis 형태 print(narr_a.shape) # 데이터 유형 print(narr_a.dtype) 1 (5,) int64 ※ shape 정보 - 1차원 배열 : (행,) - 2차원 배열 : (행, 열) - 3차원 배열 : (깊이, 행, 열) 공감수 0 댓글수 0 2021. 1. 20.
python list를 numpy array로 만들기 import numpy as np list_a = [1, 2, 3, 4, 5] narr_a = np.array(list_a) [1 2 3 4 5] 공감수 0 댓글수 0 2021. 1. 20.
python dictionary 확장하기 list를 확장할 때는 '*'를 사용하고, dictionary를 확장할 때는 '**'를 사용한다. import pprint as pp list_a = [ {'col1': 'a', 'col2': [1, 2, 3]}, {'col1': 'b', 'col2': [4, 5, 6]}, {'col1': 'c', 'col2': [7, 8, 9]} ] list_result = [{**i, 'col3': sum(i['col2'])} for i in list_a] pp.pprint(list_result) [{'col1': 'a', 'col2': [1, 2, 3], 'col3': 6}, {'col1': 'b', 'col2': [4, 5, 6], 'col3': 15}, {'col1': 'c', 'col2': [7, 8, 9],.. 공감수 0 댓글수 0 2021. 1. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.