2017-12-20

Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話

Programming Rust AWS

概要

Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。
結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。
以下でつらつらと書いていってます。

2017-12-12

AWS Lambda 上で Rust のコードを実行しようとして結構頑張った話

AWS Rust Programming

短く

OpenSSL はやはり鬼門
というわけでできたー。下が成果物。

github.com

2017-12-09

Q. 2017/12/9 の AWS Lambda の OpenSSL のバージョンは?

Programming AWS

import ssl

def lambda_handler(event, context):
    return ssl.OPENSSL_VERSION

チェック！

結果: "OpenSSL 1.0.0-fips 29 Mar 2010"

おし、めんどくさくなってきた。

情報元:

OpenSSL 1.0.2 Shared Library missing · Issue #855 · Miserlou/Zappa · GitHub

2017-12-01

AWS Lambda の Traffic Shifting Using Aliases で無理やり Chaos Engineering

AWS Programming

できんじゃねと思ったらできました。無理やり。

この間発表された AWS Lambda の更新で、エイリアスに対して割合で別バージョンを割り振ることができるようになりました。
ユースケースとしては Canary や Blue/Green が上がってたんですが、Chaos もいけんじゃねと思ってやってみたら一応できました。

正常なコードが以下です。バージョン 1 です。

import json

print('Loading function')


def lambda_handler(event, context):
    #print("Received event: " + json.dumps(event, indent=2))
    print("value1 = " + event['key1'])
    print("value2 = " + event['key2'])
    print("value3 = " + event['key3'])
    return event['key1']  # Echo back the first key value
    #raise Exception('Something went wrong')

異常なコードが以下です。バージョン 2 です。
なんも考えてません。例外はくだけ。

import json

print('Loading function')


def lambda_handler(event, context):
    raise Exception('Something went wrong')

んで、エイリアス chaos をつくり、バージョン 2 へ 5% の確率で行くよう設定します。

f:id:rohki:20171201230126p:plain

あとはひたすらポチポチ実行。

f:id:rohki:20171201230439p:plain

おー、できました。無理やり感が否めないですがw

例外パターンを最初に考えないときつそうかなー。
あとどうやって例外バージョンを指定して割り振るかってのが難しそう。

ただ形にできると発展も効きそうです。ひたすらスリープして落ちるとか。
Serverless のプラグインとかですかね?

2017-11-30

Rust のライブラリ Rusoto を使って AWS サービスにアクセスする

Programming Rust AWS

表題にあるとおり、Rust から AWS にアクセスするための SDK を大分前にメモしていたので試した、という話。

extern crate rusoto_core;
extern crate rusoto_s3;

use rusoto_s3::{S3, S3Client};
use rusoto_core::{DefaultCredentialsProvider, Region};
use rusoto_core::default_tls_client;

fn main() {
    let provider = DefaultCredentialsProvider::new().unwrap();
    let client = S3Client::new(default_tls_client().unwrap(), provider, Region::ApNortheast1);

    match client.list_buckets() {
        Ok(output) => {
            match output.buckets {
                Some(bucket_name_list) => {
                    println!("Tables in database:");

                    for bucket in bucket_name_list {
                        println!("{:?}", bucket.name);
                    }
                }
                None => println!("No tables in database!"),
            }
        }
        Err(error) => {
            println!("Error: {:?}", error);
        }
    }
}