본문 바로가기
포트폴리오 및 제작과정 기록

웹소설 트렌드 대시보드 포트폴리오 기획 8일차 : AWS Lambda와 빅쿼리 연동 관련

by metal-11 2023. 1. 15.

1. AWS 람다에서 굳이 셀레니움을 쓰고 싶으면 https://github.com/smithclay/lambdium 50MB 제한을 통과할 수 있는 람디움이란 를 써야함.

- 관련 오퍼레이션이 담긴 출처는 https://devloper-angmond.tistory.com/13

 

AWS Lambda 에서의 웹크롤링 고찰

50메가바이트로 한참동안 고생했던 웹크롤러입니다... 금일 안에 작성예정... 아 Aㅏ Ah.. 회사내에서 보직이동에 뭐에.. 요즘 쿠버네티스 꿀잼에 빠졌습니다. AWS ECS (DockerSwarm) vs K8S 비교하며, 뭔가

devloper-angmond.tistory.com

- 생각보다 람디움을 적용하는데 필요한 시행착오가 크므로 후순위로 둘 것. 적어도 AWS에 올릴 함수의 트러블 슈팅이 충분히 되기 전까지는 삼가할 필요가 있음

 

2. 15분 제한을 벗어나기 위한 멀티프로세싱으로 해결 가능. 코어가 따로 몇 개씩 할당되는 형태는 아닌것 같은데, 번거로울 수 있으니 그냥 8개 이하로 명시해두는 것이 안전할 것이다. 그편이 코딩에도 편리함. 출처 : https://velog.io/@keywookim/AWS-Lambda%EC%97%90%EC%84%9C-Multiprocessing-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0 

- 민감한 정보는 깃허브에서 공유되지 않는 파일서 불러오도록 설정해야겠다.

 

3. 구글 클라우드 플랫폼을 쓰려 했는데 카드 등록 후 90일만 무료로 일정 크레딧 만큼 쓸수 있다고 명시됨. 관련 구현은 별도 모듈로 후순위로 구현할 여지만 둘 것.

 

4. 해당 포트폴리오 롤모델이 될 수도 있는 업체는 있다. 다만 뭘 하는지 구체적으로 볼 수 있는게 없어(SNS 광고 집행을 볼 방법을 모르겠다) 현 단계에선 뭐라 하기 어렵다. https://webtoon.today/

- 일단 만든지 얼마 안된 곳이긴 해도 사업 넓히긴 좋다는 식으로 어필은 해볼 수 있겠다.

- 현황 https://thevc.kr/webtoontoday

 

5. 정리 : 모두 현 단계에선 신경쓸게 못됨. 빠른 구현에만 신경쓸것.