웹소설 트렌드 대시보드 포트폴리오 기획 6일차 : 랭킹 스크래핑 구현완료

• 무조건 멀티프로세스의 수가 많다고 좋은것은 아니었다. 가급적 cpu 코어 수*2에 맞춰보려고 한다.
  • 장르가 7개인데 여기에만 멀티프로세스를 맞추는건 좋지 않다.
• 그냥 겹치는 부분이 꽤 있어도 각 플랫폼 별로 따로따로 만드는게 최선으로 보인다는 것이 점점 확신에 가까워진다.
• 최초에 작품 목록 스크래핑 >> cpu 코어에 맞게 작품 페이지 목록을 분배 >>이후 각 작품 페이지에서 에피소드(함수1)와 댓글을 수집(함수2). 각 메타데이터를 종합.(메인)
• 카카오 페이지에 올라와 있는 작품이 있다. 이것이 어떻게 랭킹에 추산되는지, 랭킹에 제외되는 태그가 존재하는지 확인해볼수 있다면 확인이 필요하다.
  • 이유는 모호하다. 최초 런칭을 카카오 스테이지에서 한건지, 그냥 콘텐츠를 채우기 위함인지 몇 몇 샘플에 한정한 검증이 필요하다.