728x90
반응형



국제탐사보도언론인협회(ICIJ)가 전·현직 지도자 35명의 금융 비밀을 공개했어요. 91개 국가 및 지역의 330명이 넘는 정치인과 공무원, 그리고 2021년 10월 초 '판도라 문서(Pandora Papers)'라는 제목의 전 세계 범죄자 명단이 공개되었죠.

그리스 신화 최초의 필멸의 여성과 더 잘 알려진 "판도라의 상자"의 이름을 딴 판도라 문서에 대한 ICIJ의 조사는 해외 시스템을 무너뜨리기 위해 집단적으로 노력하는 대신 비밀 회사와 신탁에 자산을 숨겨 이러한 시스템의 혜택을 받아온 많은 글로벌 권력자들의 재정적 비밀을 드러냈어요.

판도라 문서는 ICIJ가 세 차례에 걸쳐 진행한 최신 조사인데요. 파나마 와 서류가 있었죠. Neo4j의 Graph Database의 도움으로 ICIJ는 발견한 데이터를 수집, 분석하고 결과를 보고할 수 있었어요.

세 가지 조사에 대해 잘 모르시는 분들을 위해 간략하게 소개할게요.

파나마 페이퍼스에서 ICIJ는 5년 전 "저널리즘 역사상 가장 큰 유출이자 최대 규모의 공동 조사"로 세상을 뒤흔들었다고 보도했어요.

이 조직은 2016년 조사에서 역외 기업이 숨긴 전 세계 여러 국가의 범죄 및 부패 시스템을 폭로한 1,150만 개 이상의 금융 및 법률 기록을 중심으로 조사했죠.

아파치 솔르(Apache Solr)와 티카(Tika) 덕분에 언론인들은 세계에서 가장 부유하고 부패한 엘리트들의 역외 세금 문서 메타데이터를 찾아냈어요. 그리고 추출한 정보를 로 연결해서 그래프를 만들고, Linkurious 시각화 도구로 시각적으로 접근할 수 있게 만들었죠.

파나마 페이퍼스 주요 결과:

    • 전 세계 정치인, 공무원 140명의 해외 자산
    • 아이슬란드 총리, 우크라이나 대통령, 사우디아라비아 왕 등 전/현직 세계 지도자들이 연루
    • 200개가 넘는 국가 및 지역의 사람들과 연결된 214,000개 이상의 해외 기업 정보
    • 주요 은행들이 추적하기 어려운 회사 설립을 주도

파라다이스 페이퍼는 파나마 페이퍼스 이후 1년 만인 2017년에 공개되었어요. 이 조사에서는 버뮤다 등에 사무실을 둔 해외 로펌에서 유출된 "거의 700만 건에 달하는 대출 계약, 재무제표, 이메일, 신탁 증서 및 기타 서류"가 드러났는데, 이는 이전 조사보다 약 200만 건이나 더 많은 양이었죠. ICIJ 보고서에 따르면요.

이번 조사에는 "이전 ICIJ 조사보다 미국 시민, 거주자, 기업에 대한 정보가 훨씬 더 많이 담긴 파일과 문서(최소 3만 1천 건)"가 포함되었다고 해요.

파라다이스 페이퍼 주요 결과:

    • 엘리자베스 2세 여왕과 13명의 고문, 주요 기부자, 도널드 J. 트럼프 미국 대통령 행정부 구성원을 포함한 120명이 넘는 정치인과 세계 지도자들의 해외 관심사와 활동 공개
    • Apple, Nike, Botox 제조사 Allergan 등 100개 이상의 다국적 기업의 세무 전략 공개
    • 세금을 줄이기 위해 모리셔스와 싱가포르의 페이퍼 컴퍼니를 이용하는 아프리카와 아시아 다국적 기업들의 조세 피난처 쇼핑 행태 폭로
    • 세계 최대 원자재 무역업체인 글렌코어(Glencore)와 관련된 비밀 거래와 숨겨진 회사를 조명하고, 회사가 콩고 민주 공화국에서 귀중한 광물 자원을 놓고 협상한 자세한 내용 제공
    • 로열티 및 스포츠 스타를 포함한 제트기 및 요트 소유자들이 맨 섬의 세금 회피 구조를 어떻게 사용했는지에 대한 세부 정보 제공

자, 이제 Pandora Papers가 등장할 차례에요!

가장 최근 조사는 부유한 엘리트, 정치인, 공무원, 전/현직 국가 지도자, 유명 인사, 범죄자, 왕족, 전 세계 종교 단체 지도자들의 금융 비밀을 폭로하는 2.94TB 분량의 엄청난 자료로 구성되어 있어요.

Pandora Papers가 Panama Papers 및 Paradise Papers와 다른 점은 여러 언어로 된 문서가 포함된 14개 회사에서 유출이 발생했다는 점이에요. 이는 탈세 및 금융 비밀의 복잡한 글로벌 시스템을 보여주죠.

ICIJ는 117개국 150개 언론 매체의 600명 이상의 언론인과 함께 데이터를 구조화, 연구, 분석하는 데 1년 이상을 쏟았어요.

Pandora Papers는 ICIJ 시리즈 중 가장 큰 조사이며, 데이터를 더 잘 이해하고 분석하기 위해 Neo4j 기술을 활용하고 있어요.

ICIJ는 Neo4j 그래프 데이터 플랫폼을 어떻게 사용했을까요?

첫 번째 단계는 1,190만 개의 문서를 포함해 총 2.94TB에 달하는 엄청난 양의 데이터를 확보하는 것이었는데, 기자들이 이 데이터를 처리하는 데만 몇 달이 걸릴 정도였죠.

ICIJ는 데이터 공유 플랫폼, Python의 Machine Learning (ML) 툴킷, 그리고 Linkurious 그래프 시각화 및 분석 도구를 포함한 오픈 소스 스택을 사용했어요.

조달된 데이터를 분석한 결과, 단 4%만이 구조화되어 있어 쉽게 검색할 수 있었다고 해요. 나머지 96%의 데이터는 구조화되지 않았고 PDF, 이메일, Word 문서, 이미지 등 다양한 형식으로 존재했죠. 구조화되지 않은 데이터를 검색 가능하게 만들려면 구조화된 데이터로 변환해야 했어요. 데이터 유형에 따라 다양한 메커니즘이 활용되었고요.

PDF 및 문서 파일의 경우, Python을 사용하여 데이터 추출을 자동화하고 데이터를 구조화했어요.
다른 데이터 유형의 경우, ICIJ는 Fonduer와 Scikit-learn 같은 ML 및 기타 도구를 사용해서 별도의 양식과 긴 문서를 식별하는 소프트웨어를 활용했죠.

변환된 데이터는 엔터티 및 관계 형태로 Neo4j에 로드되었고, ICIJ 기자들은 Linkurious를 사용하여 시각화를 생성했어요. 이제 데이터를 검색할 수 있게 되면서 기자들은 14개 역외 기업에 걸쳐 기업과 사람들 사이의 복잡하고 직간접적인 연결을 모두 탐색하고 조사할 수 있게 되었답니다.

더 자세한 내용을 파악하기 위해 ICIJ 기자들은 공개 기록, 제재 목록, 이전 유출 정보와 같은 외부 데이터 세트를 가져와 Knowledge Graph를 구축했어요. 이는 유출에 연루된 모든 사업체와 최종 수익 소유자(UBO)에 대한 정확한 그림을 찾아내고 그리는 데 큰 도움이 되었죠.

판도라 페이퍼스 주요 결과:

    • 1,190만 개의 파일
    • 14개 해외 서비스 제공업체(로펌, 은행 등)
    • 1970년대의 가장 오래된 문서도 있지만, 대부분은 1996년에서 2020년 사이의 것이에요.
    • 처음으로 미국을 포함해 38개 관할권에 유령회사가 등장했어요.
    • 27,000개의 페이퍼 컴퍼니와 29,000명의 최종 수익 소유자가 연루되었죠.
    • 130명의 억만장자(포브스 목록 기준)
    • 90개국 330명의 정치인이 연관되어 있어요.

Pandora Papers의 데이터가 더 많이 공개될수록, Neo4j의 Graph Database 기술을 사용하는 것이 이 조사의 깊이를 이해하는 데 정말 유용할 거예요. An 이전 Neo4j 블로그에서는 독자들에게 지난 두 번의 ICIJ 조사에 대해 이미 제공된 데이터를 분석할 수 있는 방법을 보여주었죠. 조직이 사용하는 데이터 모델은 다음과 같아요.

    • 실재 (Entity): 쉘 회사 또는 해외 건설
    • 중개인 (Intermediary): 페이퍼 컴퍼니 설립 및 관리에 도움을 준 법률 회사 또는 은행
    • 장교 (Officer): 유령 회사의 대리 또는 실제 소유자/주주/이사
    • 주소 (Address): 위 법인의 등록된 주소

이미 Panama 및 Paradise Papers 조사는 Offshore Leaks의 데이터베이스 (Database)에서 확인할 수 있고, Offshore Leaks 및 Bahama Leaks도 보관되어 있어요. 기자들이 계속해서 "판도라의 상자"를 열면서 수백만 개의 파일에 있는 데이터는 Neo4j Graph Database를 통해 계속 분석되고 서로 연결될 거예요. 저는 이것이 정말 매혹적인 일이라는 데 여러분 모두 동의할 거라고 생각해요!

  • icij
  • 국제탐사언론인컨소시엄

에이치시스템즈LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지

728x90
반응형

+ Recent posts