AWS Lambda - Layer 설정, 라이브러리 추가하기 (Numpy/Pandas)

AWS Lambda Layer

서버리스를 이용하여 flask restful api 배포시 requirements.txt 파일에 라이브러리를 적어주면 자동으로 AWS에서 설치한다.

하지만 자체적으로 지원하지 않는 라이브러리들이 있다. 이런 제약을 해소하기 위해 계층(Layer)를 이용하여 라이브러리를 추가한다. 만들어놓은 계층(추가 라이브러리)은 다른 애플리케이션을 배포할 때도 유용하게 사용할 수 있다.

또한, 람다는 용량 제한이 있기 때문에 용량이 많은 라이브러리는 예제와 캐시파일을 삭제하고 계층으로 사용하는 것이 용량 최적화에 효율적이다. 용량 제한은 다음과 같다.

람다 전체 250메가의 용량 제한
레이어당 50메가의 용량 제한
허용 가능 레이어 수는 5개

이번 포스팅에서는 AWS에서 제공하지 않는 Pandas 라이브러리를 사용하기 위해 작성하였다.

넘파이와 판다스 다운로드를 위한 url 확인

사용중인 운영체제와 파이썬 버전 확인
아래의 링크로 이동하여 자신의 환경에 맞는 파일 다운로드
- 포스팅에서는 AWS, 파이썬3.8버전 사용
https://pypi.org/project/pandas/#files
https://pypi.org/project/numpy/#files

numpy

NumPy is the fundamental package for array computing with Python.

pypi.org

AWS, 파이썬 3.8버전 넘파이 다운로드 주소
https://files.pythonhosted.org/packages/93/6d/d63d5fb9077d3b29ae2792624b3705b8689023cae0f89f9bf72146c34b59/numpy-1.23.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

AWS, 파이썬 3.8버전 판다스 다운로드 주소
https://files.pythonhosted.org/packages/d1/55/18b00a5426ad8a89944ab93b6b29773a556dc06af8b53a29031f861009e3/pandas-1.4.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

리눅스 터미널 - 라이브러리 파일 용량 간소화

EC2 에서 진행
판다스를 설치하였음에도 wget을 통해 다운받는 이유는 AWS OS에 맞는 라이브러리를 설치하여 오류를 줄이기 위함
Lambda Layer 계층의 용량 제한 때문에 파일 용량을 간소화 하기 위하여 필요 없는 파일 삭제 진행

# 가상환경 파이썬 3.8버전으로 생성
conda create -n lambda python=3.8
conda actevate lambda

# 디렉토리 생성 후 이동
mkdir python
cd python

# 판다스 설치 후 필요없는 파일 삭제
pip install -t . pandas
rm -rf *.dist-info __pycache__ pandas numpy

# 위에서 확인한 넘파이, 판다스 다운로드
wget https://files.pythonhosted.org/packages/93/6d/d63d5fb9077d3b29ae2792624b3705b8689023cae0f89f9bf72146c34b59/numpy-1.23.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
wget https://files.pythonhosted.org/packages/d1/55/18b00a5426ad8a89944ab93b6b29773a556dc06af8b53a29031f861009e3/pandas-1.4.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

# 다운로드한 라이브러리 압축파일로 변경
mv numpy-1.23.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl numpy.zip
mv pandas-1.4.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl pandas.zip

# 라이브러리 압축해제 후 필요없는 파일 삭제
# 만약 키 입력 창이 뜨면 A 입력 (모두 덮어쓰기)
unzip numpy.zip
unzip pandas.zip
rm -rf *.zip *.dist-info

# 상위 경로로 이동하여 python 폴더 압축
cd ..
zip -r pandas_layer.zip python