[업데이트] AWS Lambda의 임시 스토리지가 최대 10GB까지 사용가능하게 되었습니다!

안녕하세요 DA사업본부의 송영진입니다.

2022년 3월 24일 AWS Lambda의 업데이트로 지금까지 사용하던 /tmp의 임시 스토리지를 최대 10GB까지 늘릴 수 있게 되었습니다.

AWS Lambda, 이제 고객이 Lambda 함수의 임시 스토리지를 최대 10GB 구성 가능

자 바로 알아보겠습니다.

설정

만들어져있는 Lambda 함수의 기본 설정 편집을 보시면 다음과 같이 임시 스토리지의 크기를 조절 할 수 있습니다.

검증

간단하게 Python의 shutil.disk_usage을 사용하여 실제로 스토리지가 늘어났는지 검증해보겠습니다.

소스코드는 다음과 같습니다.

import shutil

def lambda_handler(event, context):
    usage = shutil.disk_usage('/tmp')
    
    print("total = ", usage.total/1024/1024)
    print("used = ", usage.used/1024/1024)
    print("free = ", usage.free/1024/1024)
    
    return

기본값(512MB)

total =  525.8046875
used =  0.8515625
free =  513.39453125

최대값(10240MB)

total =  10296.8828125
used =  40.0078125
free =  10240.875

이와 같이 스토리지의 용량이 늘어났다는 것을 확인했습니다.

요금

임시 스토리지 비용은 함수에 할당한 임시 스토리지의 양과 함수 실행 기간(밀리초 단위로 측정)에 따라 다릅니다. 구성한 추가 임시 스토리지에 대해서만 비용을 지불하면 됩니다.

서울의 Lambda의 임시 스토리지 비용은 다음과 같습니다.

끝으로

지금까지 Lambda에서 큰 파일을 다룰 때 중간파일을 생성하거나 하면 S3에 파일을 만들고 수정하곤 했지만 이제는 바로 로컬 임시 스토리지를 이용하여 더욱 빠르게 작업이 가능하게 되었습니다.

이제 메모리도 10GB, 컨테이너 이미지 10GB, 임시 스토리지까지도 10GB까지 사용할 수 있게 되었으니, 앞으로 남은건 Lambda Layer의 확장이 아닐까 싶습니다. 저는 데이터를 주로 다루기 때문에 pandas 패키지를 이용하곤 하는데, 이 패키지라는게 사이즈가 크다보니 Layer에 올리면 다른 패키지를 사용하지 못해서 컨테이너를 사용해야하나 고민하게 되는데요 컨테이너를 사용하기까지의 과정이 귀찮아서 아예 Glue의 Python Shell을 사용하곤 합니다. Lambda Layer의 사이즈도 확장이 가능하게 되면 더 좋겠다고 생각합니다. AWS의 다음 업데이트를 기대합니다!