ソモサン

私rohkiによる活動や読書の記録をつらつらと書くページです

Rust の ライブラリ Rusoto を使って AWS サービスにアクセスする

Programming Rust AWS

表題にあるとおり、Rust から AWS にアクセスするための SDK を大分前にメモしていたので試した、という話。

extern crate rusoto_core;
extern crate rusoto_s3;

use rusoto_s3::{S3, S3Client};
use rusoto_core::{DefaultCredentialsProvider, Region};
use rusoto_core::default_tls_client;

fn main() {
    let provider = DefaultCredentialsProvider::new().unwrap();
    let client = S3Client::new(default_tls_client().unwrap(), provider, Region::ApNortheast1);

    match client.list_buckets() {
        Ok(output) => {
            match output.buckets {
                Some(bucket_name_list) => {
                    println!("Tables in database:");

                    for bucket in bucket_name_list {
                        println!("{:?}", bucket.name);
                    }
                }
                None => println!("No tables in database!"),
            }
        }
        Err(error) => {
            println!("Error: {:?}", error);
        }
    }
}

S3 のバケット列挙がこんな具合。
対応状況曰く、今のところ安定しているのが、

  • EC2
  • ECS
  • DynamoDB
  • ETS
  • KMS
  • SQS

らしいってS3入ってないじゃん！動いたよ上のコード！
と、ということはログを受けまくって AWS にあげてくれるやつが書けるかも…

楽しくなってまいりました。

Swagger を使って ChatWork といろんなサービスをつなげてる (条件付き)

Programming

ChatWork とほかのサービスを連携させようとする場合、選択肢は Zapier か自前実装かと思ってます。
で、そこでタイトルにある第3の選択。Swagger があればどうにかなる。MS Flow のカスタムコネクタで。

続きを読む

Windows でプロセスごとの TCP IO をとってグラフにした

まぁいうてリソースモニターでできてることなんですが…
それでも面白いことがあったので。

f:id:rohki:20171115234141p:plain

結果はこんな感じ。
時々帯域をとってるのは、Firefox の通信です。
ブラウジングはこんなもんですかね。サイズ的にも KB なので、そこまでがっつり見に行ってなかったです。

で、これを通信イベントの回数にしてみると面白いんです。

f:id:rohki:20171115234741p:plain

やたらめったら目立つ黄色があったので、これだけに絞ってみます。

f:id:rohki:20171115234951p:plain

なんか定常的にやってる！ あ、イベントの精査もできていないのでこれだけでこいつが悪者だ！！てわけではないです。
で、vpnkit という docker 関連のプロセスが発行しているですが、どんなイベントが発行させてるのかなーと調査してみたくなってきました。
何やってるんだろう。ワクワクします。

ちなみにサーバー側ですが、 docker-compose で InfluxDB + Grafana をローカルにたてて、 そこに向けてメトリクスなげてます。
以下の記事を参考にさせていただきました。感謝感謝。

influxDB + Grafanaに入門する - Qiita

クライアントは Rust で書いたんですが、unsafe まみれなのでどうにかしたい…
そのあとにクライアント側で合算してサーバーに投げるとかになりますかねー
後は PID からプロセス名にするもありますか
先はながいなー

Grafana で AWS の見える化がすぐできた

Programming AWS

いやー、すごい。
わかったらすぐできました。

例として AWS の使用料を見える化します。
まず、AWS 側で計測をはじめるため、請求ダッシュボード -> 設定 -> 請求アラートを受け取る にチェックをつけます。

f:id:rohki:20171109215247p:plain

で、Grafana を公式サービスおひとり様用で作成します。

grafana.com

Grafana のデータソースまで遷移して、プルダウンメニューから Cloud Watch を選びます。

f:id:rohki:20171109215854p:plain

一度、AWS にもどり IAM で以下のポリシーを付けた測定用のユーザーを作成、アクセスキー ID とシークレットキーを発行します。

  • CloudWatchLogsReadOnlyAccess
  • CloudWatchReadOnlyAccess

で、Grafana に戻り作成したアカウント情報を入れて、保存します。 ここでエラーが出る場合はポリシーの確認とかをするとよいかもです。

で、ダッシュボードのインポートで 139 を入れて、先ほど追加したデータソースを選び、ロードすると！

f:id:rohki:20171111090333p:plain

でたー！！

いやー、共有はつよいですねー。 先ほどの 139 も Grafana の公式サイトで公開されているやつです。

grafana.com

Grafana はローカル環境の性能計測で 3.x とかを使っていたので、ここまで進んでるとは思ってなかったです。いやすごい。
使用料だけでなく Lambda やら EC2 やら ElastiCache やらまで…
インフラはさっぱりなので、知見の塊っす。ありがたや。

誰か3か月前の僕にこの情報を届いてほしい…

Rust で Vector データを Map + Vector にいれる

Rust Programming

どんな状況だったかというと、JSON で設定ファイルを書く必要があってそれが複数人にいじられるという感じで、マージで地獄を見たのでまずは TSV でどうにかしてみよう、となったときに書いたやつです。*1
ほんと JSON はマージしづらくてかなわん。

そして、ある要素をキーにまとめていくんですが、その配下が複数になりえる設定でした。というか、大体複数でした。
ということは、Vector から Map にしつつその中に Vector があって、ということになります。

で、こんな感じ。

use std::collections::HashMap;

#[derive(Debug)]
struct Hoge {
    a: String,
    b: u32,
}

fn main() {
    let xs = vec![
        Hoge {a: "a".to_owned(), b: 1},
        Hoge {a: "aaa".to_owned(), b: 2},
        Hoge {a: "a".to_owned(), b: 3},
        Hoge {a: "aaa".to_owned(), b: 4},
        Hoge {a: "aa".to_owned(), b: 5},
    ];

    let h = xs.into_iter().fold(HashMap::<String, Vec<u32>>::new(), |mut acc, x| {
        acc.entry(x.a).or_insert(Vec::new()).push(x.b);
        acc 
    });

    println!("{:?}", h);
}

https://play.rust-lang.org/?gist=75d175041fcd5577b2c9ea0d7fb95594&version=stable

一番の発見は or_insert で、こいつのおかげで大分まとまりました。
mut とかの話、はいいや。どっかで誰かが書いてそうです。

*1:本質的な解決になってなかったので動かしてないですが…

なんとなく思いついた Scala でのライブラリ切り替え

Programming

今日オブジェクトのシリアライズ形式を切り替える方法考えなきゃで、ぼんやりと思いついた方法。

trait DataFormat {
  type Format
  type Formatter[T]

  def ser[Data: Formatter](input: Data): Format
  def de[Data: Formatter](input: Format): Data
}

trait Spray extends DataFormat {
  import spray.json._
  override type Format = JsValue
  override type Formatter[T] = JsonFormat[T]

  override def ser[Data: Formatter](input: Data): Format = input.toJson
  override def de[Data: Formatter](input: Format): Data = input.convertTo[Data]
}

で、コンパイルしたところ

Warning:(40, 8) higher-kinded type should be enabled
by making the implicit value scala.language.higherKinds visible.
This can be achieved by adding the import clause 'import scala.language.higherKinds'
or by setting the compiler option -language:higherKinds.
See the Scala docs for value scala.language.higherKinds for a discussion
why the feature should be explicitly enabled.
  type Formatter[T]

そーですか、警告スカ…
こんなコードばっか書いてるから IDE が不調になったりするのだ。意味は調べるけど。

Scala spray-json の書き分けパターンのメモ

Programming Scala

なんか、あとどれだけ json シリアライザを書けばいいんだ…ってぐらい書いて知見がまとまったのでメモ。
といっても大体 本家のReadme 書いてあります。

サンプルコードは割と雰囲気で書いているのでコンパイルはすぐできないかも。

続きを読む