Data Management

クラウドデータウェアハウス(Amazon Redshift)のコスト削減した話

グループデータマネジメント部の須藤です. 日々の業務はデータ基盤の開発や運用を行っています. 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います. クラウドデータウェアハウスはス…

SQL クエリ (on Treasure Workflow) の単体テストを少ない手間で実現している話

Integrated Data Service 部の中野 (takamoto) です。現在は主にデータプラットフォーム上のデータパイプラインの開発・運用をメインで担当しています。 私の所属しているチームでは Snowflake を中心に構築されたデータパイプラインを主に管理していますが…

Snowflakeのアクセス制御を活用したデータ基盤での権限管理の事例紹介

KADOKAWA Connected / ドワンゴの @saka1 と Integrated Data Service 部の中野 (takamoto) です。 私達の部署では主にSnowflakeを中心にしたデータ基盤(データプラットフォーム)の開発保守を行っています。この記事では、Snowflakeの機能を駆使してデータ…

Snowflake上のデータ利用状況を可視化するツールをStreamlitで試作した話

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要は…

データ基盤の障害状況をTableauで可視化した話

こんにちは!Integrated Data Service部の塚本です。 普段「大した話でなくとも情報発信をしていこう」とメンバーに言っているのですが、自らがファーストペンギンにならないと続きづらいだろうということで投稿することにしました。 この記事を3行でまとめ…

データプラットフォーム統合プロジェクトの紹介

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected(以下KDX)でデータ分析…

KADOKAWAグループでのデータエンジニアリングを担うIntegrated Data Service部の仕事とは?

こんにちは。KADOKAWA Connected 社長室チームです! KADOKAWA Connectedの仕事の全体像をご紹介することを目的としたインタビュー企画の第5弾。今回は、KADOKAWAグループでのデータエンジニアリングを担うIntegrated Data Service部の部長の塚本さんにお話…