-
2017年10月20日
-
DynamoDB Localを試してみる
本当に今さらながら、DynamoDB ローカルをちょっと試してみました。 ローカルで動かしますのでどれだけ好き勝手に触ってもAWSに課金されることはありません。そもそもダウンロードする際に、AWSのアカウントすら必要があ […]
-
2017年08月14日
-
[初心者向]よく使いそうなgitコマンドまとめ
はじめに 最近、チームにまったくのgit初心者が加入したこともあり、チーム内で簡単なgit入門会勉強会的なものを行いました。 その時に、よく使うgitコマンドが挙がっていましたので、まとめという意味を込めてブログに残して […]
-
2017年07月07日
-
[書評]確かな力が身につくPython「超」入門
はじめに 最近、Python始めました。 せっかくなので本を買って勉強しようと思い立ち、購入した本がコチラ。 確かな力が身につくPython「超」入門 と、いうことで今回はこの本についてご紹介いたします。 本書の内容につ […]
-
2017年06月22日
-
[SQL]レコードから改行を除去する
はじめに データに改行が入っていて、それを取り除きたいということがありました。 データベースに取り込む前に、不要な改行を除去するプログラム書くのも一つの手ではありますが、 SQLを使った方が簡単にできるかと思います。 実 […]
-
2017年03月31日
-
[Talend]実行するSQLを外出しにする[Java]
Talendのジョブで実行するSQLに修正があった場合、Talend起動して、ジョブを開いて対象のクエリを修正する、というのは意外と面倒な作業です(当然ながらジョブの修正に付随してビルド・デプロイ作業も発生するかと思いま […]
-
2016年12月07日
-
[Java]リモートのサーバにSSH接続してコマンドを実行する[JSch]
Javaでリモートのサーバのシェルスクリプトを実行する、という処理を書く機会がありました。 使い道は、、、そうないかもですが。(TeraTerm使えばいいしな) 考えられるとしたらWebシステムを使ってブラウザからリモー […]
-
2016年09月05日
-
JavaでS3のフォルダの存在チェックをする
S3に特定のフォルダが存在するかどうかチェックするプログラムをJavaで作る機会がありました。 あまり実用性はないかと思いますが、公開します。 そもそもS3にフォルダという概念はない いきなり当エントリがタイトル詐欺だと […]
-
2016年08月30日
-
[Talend]Javaのバージョンを切り替える方法
はじめに Talendジョブの実行環境のJavaのバージョンを確かめないと予期せぬ動作をすることがあります。 テスト中はTalendから直接ジョブを実行することが多いと思いますが、TalendのJavaのバージョンの切り […]
-
2016年07月22日
-
TalendでAmazonS3に接続するコンポーネントまとめ
はじめに タイトルの通り、TalendでAmazonS3に関連するコンポーネントをご紹介します。 AmazonS3にCSV/TSV形式でデータのバックアップを取る、 RedshiftにCopyするためのファイルを置くなど […]
-
2016年07月19日
-
Talendでファイル圧縮
はじめに 大量データをファイル出力した際には、ファイル圧縮を行う必要性もあると思います。 Talendのコンポーネントでもファイルを圧縮することができるので、ご紹介します。 環境 今回使用した環境以下の通りです。 Win […]
-
2016年07月08日
-
Talendでディレクトリの中にある一番最新ファイルを取得する方法
はじめに 忘れない内にまたTalendネタを書きます。 ディレクトリの内に複数のファイルがあり、その中から最新のファイルのみを処理したい場合があります。 今回は、そういった場合にTalendでどう作るかをご紹介します。 […]
-
2016年07月07日
-
[Talend]tMysqlBulkExecを使う時はスキーマの設定を忘れずに
はじめに TalendのtMysqlBulkExecはファイルを読み込んでDB(Mysql)に登録してくれる 便利なコンポーネントです。 tMysqlBulkExecを使っていて少しハマった点があったので、 同じ過ちを繰 […]
-
【スマートウォッチ】Pebbleが来た
はじめに Pebbleが支給されましたので使ってみました。 Pebbleとは 私はスマートウォッチと聞くとApple Wacthが思い浮かんだのですが、 Pebbleもそのスマートウォッチの一種です。 PebbleはAp […]
-
2016年07月04日
-
【小ネタ】TalendでMySQLから取得したデータをストリームで処理する
DBから取得したデータをストリームで処理する Talendを使ってDBからデータを取得する際に、データの件数が多い場合、 実行環境のマシンスペックがしょぼかったりすると処理に時間がかかったり、 最悪メモリリークが発生する […]
-
2016年06月30日
-
TalendにJavaのコードを書く
はじめに Talendはソースコードを書かなくても(書けなくても)プログラムが作れてしまうのがメリットではありますが、Javaのソースコードを書くことも勿論できます。 『こういう処理を作りたいけど、どのコンポーネント使っ […]
-
2016年06月28日
-
Talendでデータの正規化を行う
こんにちは。Yuraです。 Talendを使ってデータの正規化を行ってみました。 正規化用データ作成 はじめに正規化したいデータを用意します。 CSV形式で以下のような注文データを作成しました。 このデータを正規化すると […]
-
2016年05月19日
-
Talendでデータの移行をやってみる
はじめに こんにちは、Yuraです。 業務でTalendで作られたプログラムを触ることはあるものの、私の場合修正作業がほとんどです。 今後の為に、勉強も兼ねて自分でも何か作ってみようと思いました。 今回は、Talendを […]
-
2016年05月18日
-
Spring DATA JPAでデータ検索 その2
前回の続きとなります。 複合主キーの場合と、テーブル結合した検索方法ついてです。 前回よりも少しだけ面倒ではございますが、難しくはないと思います。 テーブルの作成 前回作ったデータベースに、顧客テーブルと売上テーブルを追 […]
-
2016年05月12日
-
Spring DATA JPAでデータ検索
GWも終わり、夏が近づいてまいりましたね。 今回は、Spring Data JPAを使ってデータ検索してみました。 ちょこっとだけハマったところもあったので、個人的なメモとして残しておきます。 開発環境構築 Spring […]
-
2016年04月18日
-
MySQLのCreate Table文をRedshiftのCreate Table文に変換する
こんにちは、Yuraです。 今回もどうぞよろしくお願い申し上げます。 はじめに MySQLから、Amazon Redshiftへのデータ移行をやってみました。 大抵の場合、テーブルは予め用意しておくと思うので、今回はMy […]
-
2016年03月11日
-
[Ruby]ymlファイルに定義されたCSV(TSV)の読み込み処理を行う
こんにちは。Yuraです。 前回に引き続き、Rubyネタです。 今回はRailsは使用しませんので、ご了承ください。 はじめに Ruby学習の一環として、Rubyのyamlライブラリとcsvライブラリを使い、 ymlファ […]
-
2016年03月04日
-
Ruby初心者がRailsで簡単に画面開発
こんにちは、初めまして。Yuraと申します。 この度、ブログデビューをすることとなりました。 よろしくお願いいたします。 はじめに 筆者はこれまではJavaをメインに触っていたのですが、 最近、Ruby On Rails […]