技術的な取り組み

クラウドデータウェアハウス(Amazon Redshift)のコスト削減した話

グループデータマネジメント部の須藤です. 日々の業務はデータ基盤の開発や運用を行っています. 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います. クラウドデータウェアハウスはス…

SQL クエリ (on Treasure Workflow) の単体テストを少ない手間で実現している話

Integrated Data Service 部の中野 (takamoto) です。現在は主にデータプラットフォーム上のデータパイプラインの開発・運用をメインで担当しています。 私の所属しているチームでは Snowflake を中心に構築されたデータパイプラインを主に管理していますが…

足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善

Integrated Data Service 部の中野 (takamoto) です。2021~2022年頃は主に データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog で紹介されていたデータプラットフォーム開発の認証認可の開発に関わっていました。また、こ…

Web APIのログ保存先をCloudWatch LogsからS3に変更してコストカットした話

大量イベントを記録するWeb APIが必要になった背景 Web APIシステムのアーキテクチャ 発生した問題 問題への対応 保存先の変更 運用の変更 小噺 S3のオブジェクトサイズとFluentbitのトレードオフ Athena + QuickSight料金の話 まとめ img{ display: inline-…

1dayワークショップ「業務レベルのソースコード体験会」の紹介

こんにちは! Engineer Lab部の五味です。この記事は、2024年卒/2025年卒の学生・就活生を対象に、昨年12月から今年5月にかけて計3回開催した1dayワークショップ「業務レベルのソースコード体験会」の紹介です。 オンラインで行われるコーディング・講義・…

Snowflakeのアクセス制御を活用したデータ基盤での権限管理の事例紹介

KADOKAWA Connected / ドワンゴの @saka1 と Integrated Data Service 部の中野 (takamoto) です。 私達の部署では主にSnowflakeを中心にしたデータ基盤(データプラットフォーム)の開発保守を行っています。この記事では、Snowflakeの機能を駆使してデータ…

大量イベントを記録するWeb APIの設計から実装まで

KADOKAWA Connected / ドワンゴの @saka1です。 私の部署ではデータ分析に関する様々なシステムを開発していますが、最近とあるデータ入力APIシステムの開発を行いました。記事執筆時点ではそのシステムへの移行が段階的に行われている最中です。 行ったこと…

Snowflake上のデータ利用状況を可視化するツールをStreamlitで試作した話

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要は…

古くて大きなTableau ServerをモダンなTableau Serverに統合した話

Integrated Data Service部 の @Matsushiman です。 普段はIDS部のデータエンジニアとしてニコニコ動画の数値解析ツールの開発やKADOKAWAグループ向けデータウェアハウスの開発、Tableau Serverのオンプレミスでのホスティングやライセンス管理などを行って…

データ基盤の障害状況をTableauで可視化した話

こんにちは!Integrated Data Service部の塚本です。 普段「大した話でなくとも情報発信をしていこう」とメンバーに言っているのですが、自らがファーストペンギンにならないと続きづらいだろうということで投稿することにしました。 この記事を3行でまとめ…

Snowflakeで複数のSQLをまとめて実行するストアドプロシージャを作った話

KADOKAWA Connected / ドワンゴの @saka1 です。 最近は、ドワンゴ・KADOKAWA向けに提供しているデータプラットフォームの移行作業を行っています。 engineering.kdx.co.jp 記事執筆時点(2022年3月初旬)では、移行作業はそろそろ佳境あるいは完了というと…

機械学習モデルによる時系列予測システムの開発

はじめに Engineer Lab部所属の夏目です。普段はWebサイトのアクセス情報を含むビッグデータの分析を行なって、ビジネスに有効な知見を引き出すデータサイエンティストの業務と、自然言語処理モデル(BERT、他)やパブリッククラウドサービスの機械学習サー…

Engineer Lab部の新卒LT発表会と部内懇親会の紹介

はじめに はじめまして! KADOKAWA Connectedに2021年新卒として入社したEngineer Lab部の池田です。 Engineer Lab部は、KADOKAWA Connected内でシステム開発を担っている部署*1で、私を含めて5名の新卒が配属されました。 Engineer Lab部の業務は基本的にフ…

社内DBaaSで障害対応演習をやってみた

はじめに KCS部DSREチームのromです。 KCS部は、KADOKAWAグループ向けプライベートクラウド(KADOKAWA Cloud Service、以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している「ニコニコ」です。 私の所属しているDSREチームでは、My…

データプラットフォーム統合プロジェクトの紹介

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected(以下KDX)でデータ分析…

KADOKAWA Connected ではじめての新卒チーム開発研修をフルリモートでやってみた話

はじめに KADOKAWA Connected でソフトウェアエンジニアをしている福地です。 2021年4月に第1期新卒として入社頂いた新卒エンジニアのチーム開発研修を5月から6月までの約2ヶ月で実施しました。 チーム開発研修は、入社後の4月に行われた非技術研修と技術研…

社内RDBMSコミュニティ活動で読書会をやってみた

はじめに KCS部DSREチームのromです。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している「ニコニコ」です。 私の所属しているDSREチームでは、MySQLやRedis,Elasticsearc…

サクラタウンの有線ネットワークのお話(認証編)

はじめに こんにちは!KADOKAWA Connected、ネットワークチームの 立松(Matsu) です。データセンターとキャンパスのネットワークサービスのデザイン、デリバリ、O&Mの業務を担当しています。「サクラタウンへの無線デプロイでヒヤッとしたお話」という記事が…

従業員数約7,000名の企業に「Zapier」を導入できるか考えてみた。

普段から考えていること KADOKAWA Connectedは「働く人々の生涯生産性を最高に高めるためのソリューションを提供する」ということに命を燃やしている。顧客の中心はKADOKAWAグループであり、利用者は約7,000名もいる。そんな彼らの生産性を爆上げしてやろう…

サクラタウンへの無線デプロイでヒヤッとしたお話

はじめに こんにちは!KADOKAWA Connected、ネットワークチームの 立松(Matsu) です。データセンターとキャンパスのネットワークサービスのデザイン、デリバリ、O&Mの業務を担当しています。会社ブログへの投稿は初めてなので、読みづらいところもあるかもし…

プライベートクラウドのインターフェースを設計する

はじめに KADOKAWA Connected KCS 部の nokamoto です。 KCS 部では KADOKAWA グループ向けプライベートクラウドを提供していますが、 今回は KCS 全般の課題とそれを解決するために進めているプロジェクトについて投稿します。 課題:インターフェースの再…

シン・テレワークシステムへのバックボーン提供(その2!)

はじめに こんにちは。KADOKAWA Connectedでネットワーク設計構築を担当しているもつおです。今年5月に『NTT 東日本 - IPA シン・テレワークシステム へのバックボーン提供』についてご紹介しました。 NTT 東日本 - IPA シン・テレワークシステム (以下,シ…

ハイブリッドクラウドで実現する低コスト静的コンテンツ配信ネットワーク(CDN)サービス

はじめに はじめまして、2020年4月に株式会社ドワンゴに新卒入社した関森です。 現在は株式会社KADOKAWA ConnectedのKCS部にも所属しています。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、その中でも私は、Content Deli…

機械学習開発のための学習済モデル

はじめに 株式会社KADOKAWA ConnectedのKCS部Cloud Native課の夏目です。最近は産業におけるディープラーニング(ディープニューラルネットワーク、以下「DNN」)の適用が幅広く進んでいます。私(夏目)はSmartCity研究所にて画像認識を利用するプロジェク…

初心者向けAI(人工知能)関連書籍紹介 2020年夏

はじめに はじめまして!株式会社KADOKAWA Connected KCS部Cloud Native課の夏目です。 近年、第3次AIブーム の中で、企業・組織でのAI(人工知能)の導入が進んでいます。弊社KADOKAWA ConnectedでもSmartCity研究所 などでAIを利用した取り組みを進めてお…

チーム開発での Github 貢献度を可視化する

はじめに KADOKAWA Connected KCS 部の nokamoto です。 KCS 部では KADOKAWA グループ向けプライベートクラウドを提供しており、プライベートクラウド上の各サービス開発は Github Enterprise を利用しています。 今回はチーム開発において Github 上での貢…

Kubernetes上へのElastic APMサーバの自動デプロイについて

はじめに KCS部の辻下(tjst-t)です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私の所属しているDSREチームでは、MySQLやRedis、Elasticsearch…

プライベートクラウドに作る Kubernetes サービスの設計

はじめに KADOKAWA Connected KCS 部の nokamoto です。 KCS 部は KADOKAWA グループ向けプライベートクラウド (KCS) を提供しており、その中の一つに私がアーキテクトとして参加している Kubernetes クラスタを提供するサービス (DKS) があります。 今回は …

0.1 人月未満で運用する Elasticsearch 基盤

はじめに はじめまして、KCS 部の島崎です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私は RDB基盤と CACHE基盤と今回の Elastic Stack as a …

シン・テレワークシステムへのバックボーン提供(とVPN突貫作成の話)

はじめまして,この4月からKADOKAWA Connectedに入社しました もつお です。今年で,ネットワークに関わる仕事を始めて3年目になりました。今回は,リモートワークに関するKADOKAWA Connectedの取り組みを,2つご紹介したいと思います。 テレワーク支援プロ…

700VMを超えるRedis のカーネルアップデート

はじめに はじめまして、KCS部の辻下(tjst-t)です。KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私の所属しているDSREチームでは、MySQLやRedis、…

Inphi COLORZ でいい感じにディスアグリゲーションWDMがつくれるか検証してみた

はじめに こんにちは!ネットワークチームで学生アルバイトをしていたhikaliumです。 2019年の8月から2020年の3月まで週に数日程度、ネットワーク周りの新しい機材やソフトウエアの検証をおこなったり、それに伴うちょっとしたスクリプトを書いたりすること…

がんばらないDBaaSの作り方

はじめに はじめまして、KCS部のmaruです。KCS部では、部長といくつかのサービスのオーナーをやっています。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、私がオーナーをしているサービスにはDataBase as a Service(以下DBa…

Envoy External Authorization で gRPC サービスから認可を分離する実装の検証

はじめに はじめまして、KCS 部の nokamoto です。私の所属するチームでは KADOKAWA グループ向けプライベートクラウド (以下 KCS) が利用されやすくなるように、KCS のインターフェースとなる Web Console や API やドキュメントを標準化するプロジェクトを…