AWS Lambda - Layer 설정, 라이브러리 추가하기 (Numpy/Pandas)

AWS Lambda Layer 서버리스를 이용하여 flask restful api 배포시 requirements.txt 파일에 라이브러리를 적어주면 자동으로 AWS에서 설치한다. 하지만 자체적으로 지원하지 않는 라이브러리들이 있다. 이런 제약을 해소하기 위해 계층(Layer)를 이용하여 라이브러리를 추가한다. 만들어놓은 계층(추가 라이브러리)은 다른 애플리케이션을 배포할 때도 유용하게 사용할 수 있다. 또한, 람다는 용량 제한이 있기 때문에 용량이 많은 라이브러리는 예제와 캐시파일을 삭제하고 계층으로 사용하는 것이 용량 최적화에 효율적이다. 용량 제한은 다음과 같다. 람다 전체 250메가의 용량 제한 레이어당 50메가의 용량 제한 허용 가능 레이어 수는 5개 이번 포스팅에서는 AWS에서 제공하지 않는 P..

• format_list_bulleted DevOps/AWS
• · 2022. 6. 29.
• textsms

Streamlit - 웹 대시보드에서 Python Pandas로 DataFrame 이용하기

# Streamlit 데이터프레임 이용하기 Pandas 프로그래밍 언어 파이썬에서 데이터를 효율적으로 분석하고 가용하기 위해 만들어진 라이브러리 주로 표를 다룸 import pandas로 호출 CSV 파일 불러오기/저장하기 (파이썬 언어 사용) 불러오기 : pandas.read_csv('경로&파일이름') 저장하기 : pandas.to_csv('경로&파일이름') DataFrame을 이용하는 명령어는 파이썬 언어를 그대로 사용 Streamlit 함수를 이용해 데이터프레임 출력하기 .dataframe(데이터프레임) .write(데이터프레임) 둘 다 같은 의미이므로 편한 것을 골라 사용 # Visual Studio Code에서 Streamlit 데이터프레임 사용해보기 소스 코드 import streamlit a..

• format_list_bulleted AI & ML/Streamlit (Web Dashboard)
• · 2022. 5. 19.
• textsms

Pandas 활용 5 - 피벗 테이블(Pivot table)

# 피벗 테이블이란? (pivot table) 컬럼의 값들을 열로 만드는 것 각 수치들의 평균을 구해서 제공 aggfunc를 이용하여 다른 연산 가능 # 피벗 테이블 생성하기 pandas.pivot_table(data, index=n, values=m, aggfunc=func) data : 피봇 테이블에 넣을 데이터프레임 index : 인덱스가 될 컬럼 values : 컬럼으로 보여줄 항목 aggfunc : 다른 연산을 할 때 사용 예시에 사용될 데이터프레임 파일 # 필요한 부분만 선택하여 피벗 테이블을 생성해보자 'Name'을 인덱스로, 'Price'와 'Quantity'를 밸류로, aggfunc를 활용하여 총 합, 평균, 표준편차 출력 std : 갯수 1개는 표준편차 값이 없으므로 NaN값 출력 pd..

• format_list_bulleted Programming/Python
• · 2022. 5. 4.
• textsms

Pandas 활용4 - 문자열 변경, 데이터 병합, 모든 항목 함수 적용(apply)

# 판다스 외부 모듈 호출하기 import pandas import가 되지 않을 경우 명령 프롬프트에서 pip install pandas 입력 주피터 노트북일 경우 !pip install pandas 코드 실행 # 문자열 변경하기 (예시 3개만, 문자열 함수와 비슷함) df.str. 문자열함수 특정 문자 변경하기 (replace) df.str.replace('바꿀문자', '대체문자') 해당 문자 찾기 (contains) df.str.contains("찾을문자") 문자열 최대 길이 확인 (len) df.str.len() df.str. 문자열함수 예시를 통해서 이해해보기 기존 데이터 프레임 1. 기존 데이터프레임에서 새로운 인덱스(마켓2)와 값(사과=30, 바나나=40, 키위=50)을 추가해보기 2. NaN..

• format_list_bulleted Programming/Python
• · 2022. 5. 2.
• textsms

Pandas 활용3 - 인덱스 옵션, 정렬하기, 중복 제거, 갯수 확인

# 판다스 외부 모듈 호출하기 import pandas import가 되지 않을 경우 명령 프롬프트에서 pip install pandas 입력 주피터 노트북일 경우 !pip install pandas 코드 실행 # 인덱스 설정(set_index)하기, 초기화)(reset_index)하기 특정 항목 인덱스 설정하기 (set_index) df.set_index('인덱스 기준 항목', inplace=True) : inplace가 True면 원본 데이터 바로 값 적용 인덱스 초기화하기 (reset_index) df.reset_index() : 인덱스 초기화, 0부터 다시 넘버링 # 데이터프레임 정렬하기 (sort) 칼럼 정렬 (sort_values) df.sort_values('칼럼명', ascending=Tr..

• format_list_bulleted Programming/Python
• · 2022. 5. 2.
• textsms

Pandas 활용2 - 데이터 엑세스, 추가, 수정, 삭제, 이름 변경, 그룹별로 보기

# 판다스 외부 모듈 호출하기 import pandas import가 되지 않을 경우 명령 프롬프트에서 pip install pandas 입력 주피터 노트북일 경우 !pip install pandas 코드 실행 # 판다스 데이터프레임 엑세스하기 (이하 데이터프레임 'df'로 서술) 직접 접근하기 : df['칼럼명'] 인덱스와 컬럼으로 접근하기 : df.loc['인덱스명', '칼럼명'] 여러 데이터를 부를 땐 슬라이싱으로 범위를 지정 슬라이싱 할 때 주의점 : 번호로 할때는 끝나는 숫자 전까지이지만, 문자열일 경우는 해당 문자열까지 포함 인덱스의 번호로 접근하기 : df.iloc['인덱스의번호', '칼럼의번호'] 다른 언어의 배열 접근법과 비슷 # 데이터프레임 항목 추가하기 직접 추가하기 > df[값] =..

• format_list_bulleted Programming/Python
• · 2022. 5. 2.
• textsms