re:Invent 2018 Second Day

明日はセミナー本番

受講予定のセミナーについて少し調べてみる。

ANT322-R – [REPEAT] High Performance Data Streaming with Amazon Kinesis: Best Practices

Amazon Kinesis makes it easy to collect, process, and analyze real-time, streaming data so you can get timely insights and react quickly to new information. In this session, we dive deep into best practices for Kinesis Data Streams and Kinesis Data Firehose to get the most performance out of your data streaming applications. Our customer NICE inContact joins us to discuss how they utilize Amazon Kinesis Data Streams to make real-time decisions on customer contact routing and agent assignments for its Call Center as a Service (CCaaS) Platform. NICE inContact walks through their architecture and requirements for low-latency, accurate processing to be as responsive as possible to changes.

終わり次第、
IOT314-R – [REPEAT] IoT Analytics Workshop
を見てみようかな。

In this workshop, you learn about the different components of AWS IoT Analytics. You have the opportunity to configure AWS IoT Analytics to ingest data from AWS IoT Core, enrich the data using AWS Lambda, visualize the data using Amazon QuickSight, and perform machine learning using Jupyter Notebooks. Join us, and build a solution that helps you perform analytics on appliance energy usage in a smart building and forecast energy utilization to optimize consumption.

DVC304 – Red Team vs. Blue Team on AWS

Red teamers, penetration testers, and attackers can leverage the same tools used by developers to attack AWS accounts. In this session, two technical security experts demonstrate how an attacker can perform reconnaissance and pivoting on AWS, leverage network, AWS Lambda functions, and implementation weaknesses to steal credentials and data. They then show you how to defend your environment from these threats.

This session is part of re:Invent Developer Community Day, a series led by AWS enthusiasts who share first-hand, technical insights on trending topics.

IOT322-R – [REPEAT] Machine Learning Inference at the Edge

Training ML models requires massive computing resources, so it is a natural fit for the cloud. But, inference typically takes a lot less computing power and is often done in real time when new data is available. So, getting inference results with very low latency is important to making sure your IoT applications can respond quickly to local events. AWS Greengrass ML Inference gives you the best of both worlds. You use ML models that are built and trained in the cloud and you deploy and run ML inference locally on connected devices. For example, you can build a predictive model in Amazon SageMaker for scene detection analysis and then run it locally on an AWS Greengrass enabled security camera device where there is no cloud connectivity to predict and send an alert when an incoming visitor is detected. We show you some examples of image recognition models running on edge devices.

場所がAriaで移動時間がかなり厳しいので、
CMP368-R – [REPEAT] Scalable Multi-Node Deep Learning Training in the Cloud

Developing and optimizing machine learning (ML) models is an iterative process. It involves frequently training and retraining models with new data and optimizing model and training parameters to increase prediction accuracy. At the same time, to drive higher prediction accuracy, models are getting larger and more complex, thus increasing the demand for compute resources. In this chalk talk, AWS and Fast.ai will share best practices on how to optimize AWS infrastructure to minimize deep learning training times by using distributed/multi-node training.

このセッションを聞くことにした。
CON308-R – [REPEAT] Building Microservices with Containers

Microservices are minimal function services that are deployed separately, but can interact together to function as a broader application. Microservices can be built, changed, and deployed quickly with a relatively small impact, empowering developers to speed up the rate of innovation. In this session, we show how containers help enable microservices-based application architectures, discuss best practices for building new microservices, and cover the AWS services that allow you to build performant microservices applications.

GENM201 – Monday Night Live

Want to enjoy live entertainment while learning about Amazon’s infrastructure updates? Be sure to attend Monday Night Live with Peter DeSantis, Vice President, AWS Global Infrastructure and Customer Support, on Nov. 26, at 7:30 PM at The Venetian, Level 2, Hall A.

財務報告の目的

日商簿記1級 第150回 会計学で出題されて面食らう。

財務会計の概念フレームワークによれば、
投資家による企業成果の予測や企業評価のために、将来キャッシュフローの予測に役立つ情報を提供すること
とのこと。(第2章 会計情報の質的特性 序章より)

25文字以内で答えなければならないので
将来キャッシュフローの予測に役立つ情報を提供する為
となるのだろうか?

利害関係者に対して投資判断に寄与する情報提供を行う
と答えてしまった。。。

AWS 機械学習 勉強会 in 福井に参加してきた

Amazon SageMakerを利用した機械学習のハンズオン。
内容は、AWSの亀田さんが講師をされ、オンラインで公開されているハンズオンの57スライド目からを利用して実際にハンズオンをやるというもの。

スライドの資料を利用すると大まかな内容が理解できる。

ハンズオンでは実際にzipファイルをダウンロードして展開されたJupyter Notebookよりここで進められるようになっているのだが、最初は進め方がよくわからず困惑した。[ ]をクリックすると[*]になってしばらくする(実際にデプロイしているので時間がかかるものがある)と[1]となるのだが、この部分を理解せずにやっていると途中で進められなくなったりして本質の理解(どのような原理で動いているか)を進めるのに時間を要してしまった。

受講した感想としては、zipファイルを実際に見てみないことには分かったような気にしかならないので、ここから理解をしていこうと思う。

機械学習のセミナー出ていたキーワード

男子の身長と体重のデータより女子の身長と体重の相関は導けない
→重要なことは目的に対応した学習用データの準備が必要

線形回帰
転移学習

実際に体験したアルゴリズム
XGBoost

RandomCutForest
波があるところに異常値をみつける

AWS ビジネス活用事例セミナーに参加してきた

AWSの亀田さんがAWSのサービスについて説明。
エンジニアの方もいたが、経営者の方も参加されていて、改めてAWSのサービスを理解するためには分かりやすいセミナーだった。

(備忘録)

AZとは、1~6のデータセンターで構成されている。東京リージョンは4つのAZがあるので、最小4、最大24のデータセンターで構成されている。東京と言ってもデータセンターの1つが東京にあるので、代表して東京リージョンとしている。
(実際の構成数やデータセンターの場所は非開示)
データセンター間のレイテンシーは0.25ms

複数のリージョン間通信はダークファイバーで接続されており、レイテンシーは2ms未満(ほぼ1ms未満)。

ローカルリージョンは1つのデータセンターで構成されている。世界で唯一大阪に存在ており、日本国内のニーズにある東西でDR対応したいユーザ要求にこたえている。但し、IXが東京に集中しており、関東が被災した場合に大阪リージョンが動いていたとしても通信がひっ迫してサービス提供ができない可能性がある点に留意が必要。

クラウドのメリット
・費用対効果が出しにくいサービスに適用しやすい
・撤退コストを最小化できる

クラウド移行によって、業務において手を付けられない業務:付帯業務の割合=30%:70%の場合に、70%:(クラウド管理)30%にすることが出来るが、40%増える余剰時間に対して、やってほしいことを伝えなければならない(IT部門が抵抗勢力になりうる)。

利用しなくなったログなどの過去データをLTO(テープ)などにオフラインバックアップすることが今までよくやられていたが、機械学習においては過去データを利用することになるので、機械学習においては適さない→ログデータもS3などにアップロードする必要が出てくる

コンテンツグラビティ
データと処理がクラウドに集まる

クラウドの利用のメリットには、財務効果+非財務効果(生産性向上、新機能リリース数、ダウンタイム低減)があるが、最大のメリットは、ビジネスニーズに迅速に対応できることである。

AWSのサービスはAmazonで実現しているサービスをパーツとして利用できるようにしたものである。例えば、セルフコンビニであるAmazon Goを基に
Amazon Kinesis Video Streams
Amazon Recognition
が提供されている。
(Recoginitonは画像だけだと思っていたが、動画もインプットにできることを知らなかった。。。)

その他のキーワード
・クラウドエコノミクス
・マネージドサービス(例:ロードバランサー)
・サーバレスコンピューティング
・プログラム実行基盤の実提供
NoSQL(DynamoDB)

RaspberryPiのkiosk端末化

Zabbixのダッシュボード機能を表示専用端末に表示させ、運用オペレーションセンターを作成するというもの。

Raspberry Pi3でキオスク端末(自動ログイン+ブラウザ起動)を作る。を参考にする。
なお、@chromium-browserでZabbixのダッシュボード機能をKiosk表示したURLを指定する。

Zabbix 4.0.1よりダッシュボード機能をKiosk表示する方法は簡単で、kiosk=1パラメータを追加すればよい。

Zabbix Documentation 4.0より
Since Zabbix 4.0.1, the kiosk mode can also be accessed with the following URL parameters:
/zabbix.php?action=dashboard.view&kiosk=1. To exit to normal mode: /zabbix.php?action=dashboard.view&fullscreen=0

ところで、キオスク端末というのは世界共通用語なのだろうか?
WikipediaによるとKioskというのは簡易構造物一般を指す英語「KIOSK」からきているそうな。。。

異常に安いライセンスについて

Microsoft WindowsMicrosoft Officeなど異常に安い価格でライセンスキーを販売しているサイトがあるが、正規ライセンスキーであることは間違いない。

ただし、ボリュームライセンス契約に基づいたライセンスキーであるので再販されていること自体が利用契約に違反したものになってしまっている。

Microsoftより認証されなくなるようなケースも想定されるため、突如利用できなくなるリスクもあることから、安いからと言って購入しないように注意したい。

依存ライブラリをインストールする方法

yumでインストールする場合には依存関係を解決してくれるが、rpmでインストールしなければならないパッケージの場合には、依存関係によるエラーに見舞われる場合がある。

その場合に対象のライブラリを探すのはかなり一苦労だが、
yum search **/(ライブラリ名)
でライブラリを含んでいるパッケージを特定することが出来る。

RPM依存ライブラリ不足の問題はYUMに聞こう!によれば、yum whatprovidesを利用することもできるようだ。

Zabbix 4.0を試してみた

2018/10/29にリリースされたZabbix4.0.1を試してみた。
2018/10/1にリリースされたZabbix4.0のリビジョンアップ版になる。4.0ではLTS(Long Term Support)版のため、安心して長く利用できる。

インストール手順が分かりやすく記載されていた。
ダッシュボードにアナログ時計が登場。より運用センターとして利用しやすいインターフェイス。

ただ、日本語マニュアルは、依然として2.2が最新で、対応しておらず。。。
この点については、インターフェイスが踏襲されているので2.2のマニュアルであってもさほど困らない点は優れたシステムだと思う。

もう少し検証出来次第追記していこうと思う。

ネットギアのサポートがいまいち

ネットギアの製品は低価格の割には高スペックなのだが、サポートを受けなければならない状況になるとつらい。

・(製品によるのかもしれないが)インターフェイスが英語
・マニュアルが正しくない
・メールサポートのレスポンスが悪い(日本法人にサポートセンターがなく、都度米国に問い合わせている?)