Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
240
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
Стратегия решает проблемы на всех уровнях компании
alexanderbyndyu
0
160
クリエイティブサーベイ社でのStreamlit活用事例
creativesurvey
0
110
2023年度ICT職専門研修(海外派遣研修)報告書_No.4_組織においてデジタルによる変革を計画・実行する手法を学ぶ
tokyo_metropolitan_gov_digital_hr
0
160
採用ピッチブック
macloud
2
49k
株式会社アトラエ|会社紹介資料 / Join us
atrae
11
380k
The Difference Between Value Stream Mapping and Management
helenjbeal
1
240
#CMC_Meetup コミュニティの主体がCSからマーケに変わって気づいた良さの違い
ktkn1129
0
360
株式会社10X - Culture Deck
10xinc
85
1.3M
【DearOne】Dear Newest Member
hrm
1
2.5k
2023年度ICT職専門研修(海外派遣研修)報告書_No.1_サービス開発におけるデザイン思考からのアプローチ
tokyo_metropolitan_gov_digital_hr
0
160
LT資料作成の基礎 / Basics of LT Slide Preparation
pauli
8
1.5k
株式会社CAMPFIRE|会社紹介資料
campfire
0
62k
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
Building Effective Engineering Teams - LeadDev
addyosmani
33
1.9k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
4 Signs Your Business is Dying
shpigford
176
21k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Gamification - CAS2011
davidbonilla
77
4.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Scaling GitHub
holman
457
140k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
The Mythical Team-Month
searls
217
42k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation