1. 배경 지식

• AML system에서 Watchlist Filtering 작업을 수행하기 위해서는 Watchlist가 필요함.
• Watchlist는 Dow-joens의 데이터를 사용하고 있음.

2. 요구사항

• AML 팀에서 Dow-jones의 Watchlist Feed 증분 데이터를 매일 전달해달라고 요청함.
• data팀 팀장님은 partitioning해서 csv 파일만 저장하라고 요청함.

3. 해결 과정

• Airflow에서 작업을 진행하려고 했으나, sftp 관련 라이브러리를 설치하는 것이 부담스러웠음.
  • (python 라이브러리 간의 dependency 충돌 때문)
  • 그래서 glue job을 만들어서 진행함.
• glue로 작업을 함

  • sftp에 접근.

    • username, password는 ssm의 paramstore에 저장된 것을 사용.

    <aside> ⚠️ glue에서는 패키지 디렉토리 아래에 __init__ 파일이 없으면 모듈을 못 읽음.

    </aside>

    <aside> ⚠️ glue job을 실행할 때 사용하는 Connection(network)에 vpc와 security group이 있음. security group에 sftp:22 아웃바운드 규칙을 설정해주지 않으면 dow-jones sftp 서버에 접속할 수 없음. terminal에서 dow-jones 서버 nslookup해서 ns의 ip 3개를 등록해줌.

    </aside>

    <aside> ⚠️ glue job이 사용하는 Iam Role에 SSM 관련 정책을 추가해야 함. (GetParameter만 추가함)

    </aside>

  • dow-jones whitelist feed에서 최신 파일만 다운로드.

  • .zip 파일의 압축을 품.

    • 물리적인 glue instance에서 glue job이 실행되기 때문에 메모리에 올려서 압축을 푸는 복잡한 작업을 하지 않아도 됨.

  • .zip 파일 안에 있던 csv 파일을 모두 s3에 업로드한다.

    • partition(year,month,day,hour)에 맞춰서 업로드한다.
• 메일로 전송하는 작업
  • aws의 ses를 사용함.
    • ses 메일 용량이 10MB여서 40MB로 늘렸음.
• iac (terraform)
  • terraform을 사용하여 코드로 aws 리소스를 관리함.
  • sg에 egress Resources 추가
  • glue iam에 GetParameter Resources 추가
  • paramstore의 value는 secure string이라서 Resources 추가 대신 Data Sources만 추가함.
    • key 관리를 위해서 추가함.
• 네트워크 통신간에 장애로 파일의 무결성이 깨질 수 있기 때문에 dow-jones에서 제공하는 무결성 검증 hash값과 파일의 hash값을 비교하여 다르다면 다시 다운받도록 함.

4. 결론

• 5번 단계에서 s3 key 조회를 위한 파티션 지정을 잘못 해주어서 파싱할때 버그가 발생함.

  • 파티션 맨 마지막에 /를 추가해서 원하는 파티션만 조회하도록 수정.

  # 이런식으로 지정함.
  ~~/year=2024/month=1/day=2
  
  # 실제로 조회된 key
  ~~/year=2024/month=1/day=2/a.csv
  ~~/year=2024/month=1/day=20/w.csv
  ~~/year=2024/month=1/day=21/q.csv
  ~~/year=2024/month=1/day=22/c.csv
  
  # 수정한 방식
  ~~/year=2024/month=1/day=2/
  

• 빠르게 작업하느라 glue로 작업했지만, glue의 주 목적인 spark를 쓰지 않았음.

  • glue의 목적을 잘 활용하지 못한 것 같아서 ecs를 사용하는게 더 좋았을 것 같음.

• 첨부파일 때문에 메일 용량이 40MB를 넘길때가 종종 있음.

  • 지금은 airflow job을 실패하고 수동으로 보내주는데, 어떻게 하면 우리 손을 덜 타게 할지 고민이 됨.
    • 용량 문제로 실패하면 outlook으로 다시 전송할지?
    • s3 bucket을 public으로 뚫어서 거기에 파일을 중복 적재한 다음 다운로드 링크를 보낼지?
    • retool같은 admin tool로 다운받게 할지?