Data Management

オンプレ Embulk バッチデータ転送基盤から TROCCO へ移行した事例

はじめに データマネジメント部の奥村です。 本記事では、当社においてオンプレミス環境で運用していた Embulk を用いたバッチデータ転送基盤を SaaS 型のデータ連携サービスである TROCCO へ移行した事例をご紹介します。 長年運用してきたデータ転送基盤は…

IPマスタのご紹介 ~アイテム単位からIP単位へ~

はじめに データマネジメント部の本田です。 本記事ではKADOKAWAがIP(知的財産)単位での収支分析を実現するために構築しているIPマスタについて、その作成背景や活用状況についてご紹介します。 このプロジェクトはKADOKAWAとドワンゴのメンバーが共同で進…

KADOKAWAでデータカタログシステムを導入するまでの紆余曲折

こちらは ドワンゴ Advent Calendar 2025 14日目の記事です。 メタデータとデータカタログ ドワンゴにおける旧来のデータカタログシステムとその課題 メタデータを手入力している メタデータを構造的に管理できていない グループ共用のドキュメントシステム…

Amazon MWAA + Step Functions (+ Snowflake × dbt) による大規模データパイプライン構築事例紹介

KADOKAWA デジタル戦略局 グループデータマネジメント部(出向)の中野 (takamoto) です。 足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善 - KADOKAWA Connected Engineering Blog などの過去記事から所属は変化していますが、変わ…

クラウドデータウェアハウス(Amazon Redshift)のコスト削減した話

グループデータマネジメント部の須藤です. 日々の業務はデータ基盤の開発や運用を行っています. 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います. クラウドデータウェアハウスはス…

SQL クエリ (on Treasure Workflow) の単体テストを少ない手間で実現している話

Integrated Data Service 部の中野 (takamoto) です。現在は主にデータプラットフォーム上のデータパイプラインの開発・運用をメインで担当しています。 私の所属しているチームでは Snowflake を中心に構築されたデータパイプラインを主に管理していますが…

Snowflakeのアクセス制御を活用したデータ基盤での権限管理の事例紹介

KADOKAWA Connected / ドワンゴの @saka1 と Integrated Data Service 部の中野 (takamoto) です。 私達の部署では主にSnowflakeを中心にしたデータ基盤(データプラットフォーム)の開発保守を行っています。この記事では、Snowflakeの機能を駆使してデータ…

Snowflake上のデータ利用状況を可視化するツールをStreamlitで試作した話

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要は…

データ基盤の障害状況をTableauで可視化した話

こんにちは!Integrated Data Service部の塚本です。 普段「大した話でなくとも情報発信をしていこう」とメンバーに言っているのですが、自らがファーストペンギンにならないと続きづらいだろうということで投稿することにしました。 この記事を3行でまとめ…

データプラットフォーム統合プロジェクトの紹介

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected(以下KDX)でデータ分析…

KADOKAWAグループでのデータエンジニアリングを担うIntegrated Data Service部の仕事とは?

こんにちは。KADOKAWA Connected 社長室チームです! KADOKAWA Connectedの仕事の全体像をご紹介することを目的としたインタビュー企画の第5弾。今回は、KADOKAWAグループでのデータエンジニアリングを担うIntegrated Data Service部の部長の塚本さんにお話…