【初心者向け】Dataikuで郵便番号データをクリーンアップ&PostgreSQLに登録する方法
アドベントカレンダー専門テックブロガーのthorikiです。現在弊社では目標である「企業ドクター」を目指して邁進中です。その中でも中核を担うAIやデータ利活用には会社を挙げて注力をしております。今回は、Dataikuを使って郵便番号のCSVデータを加工し、必要なデータの削除や追加を行った後、データベース(PostgreSQL)に登録する手順をご紹介します。 前提条件 以下の準備が整っていることを確認してください: 今回Dataikuでやりたいこと 郵便番号CSVをダウンロードし、Dataikuで以下の作業 ...
ビジネスロジック層って名前、広すぎない?— ビジネスロジックという名状しがたい何かについて
アドベントカレンダー専門テックブロガーのthorikiです。 私は長年Javaを使ったバックエンドサーバーの開発に、およそ20年くらい携わってきました。その中で、どうしても納得のいかない言葉があります。それは「ビジネスロジック」という表現です。 具体的には、アプリケーションのレイヤードアーキテクチャにおける「真ん中の層」、いわゆるサービス層やビジネスロジック層と呼ばれる部分を指します。この言葉が適切に機能や責務を表現しているか、常に疑問を感じてきました。 注意:アプリケーションの「3層アーキテクチャ」と「 ...
【第7回 Data Haiker】Dataiku初中級ハンズオン & アイデアソンに参加しました
アドベントカレンダー専門テックブロガーのthorikiです。現在弊社では目標である「企業ドクター」を目指して邁進中です。その中でも中核を担うAIやデータ利活用には会社を挙げて注力をしております。最近弊社とサービスパートナー契約を締結いたしました、Dataikuさんの初中級ハンズオン & アイデアソンに参加させていただきました。その様子をレポートさせていただきます。 はじめに イベントは第1部、第2部と二つに分かれていました。 第1部:Dataiku触ってみたい人集まれ!初中級者向けDataikuハ ...
データストアの選択肢:データのグラデーションとデータストアの選択
弊社のアドベントカレンダー専門テックブロガーのthorikiです。
来年でバックエンドエンジニア歴20年になるので、入社当時の状況も振り返りつつ、データストアの選択肢について書こうと思います。
AWS CloudWatch Logs のparseの使い方がわからなかったので調べてみた
こんばんわhorikiです。 業務上AWSのCloudWatch Logsのログのインサイトを使って、ログの検索、集計を行なっているのですが、ずっと気になっていることがありました。 それがこちら。 そう、parseですね。 クエリによって処理される 1 つまたは複数のエフェメラルフィールドを作成します。 うーん、何言ってるかわからないですね。 とはいえ、使ってみると便利な機能でしたので、使い方をまとめておきたいと思います。 parse部分の説明 まずはエフェメラルフィールドってなに?ということで調べました ...
トークイベント「DDDで開発したサービスを5年間運用した結果」に参加しました
どーもこんにちはhorikiです。 トークイベント「DDDで開発したサービスを5年間運用した結果」に参加してきました。そのレポートとなります。 おことわり このレポートは非公式なものです。 勉強会の内容を自分なりに解釈したものとなりますので、誤りがありましたらご指摘ください。 また所属企業・部門見解を代表するものではありませんのでご了承ください。 お伝えしたいこと このイベントについて 株式会社メタップスホールディングスがcommpassにて定期的に開催しているトークイベント「多分動くからリリースしようぜ ...