OrbのCTOの山田さんとご飯食べている時に、そういえばおなじFintechだし勉強会やりましょうよ、勉強会、という話をしていたら、山田さんがあれよあれよというまに企画していただき勉強会することになりました。 connpass.com 僕は、いつも、どちらかというと金融機関の皆様を対象にAIのジェネリックな話をするのですが、久しぶりにガチな勉強会なのでガチな話をしようとおもって、今のAlpacaの技術スタックの情報をかき集めています。 で、最近にわかに盛り上がっている時系列データベースですが、AlpacaではMarketStoreと呼んでいるgo言語でフルスクラッチ実装した自社開発の時系列データベースを利用しております。MarketStoreの面白い点は、時系列データベースながらSQL構文をサポートしており、内部的には、 select tickcandler('25Min',Open,Hi
連載を終えて 本連載では、これまで21回に渡り、HadoopやSparkなどのソフトウェアを並列データ処理系と称して、前半においてはおもに当該処理系のアーキテクチャやデータ処理方法の原理を説明し、後半においては当該処理系の実装における技術的特徴を概観してきました。 前半では、いくつかの教科書や古い文献をベースに説明をしましたが、近年の発展が著しいと考えられている並列データ処理系においても、過去に深く研究された技術の組み合わせや応用である場合が多いことを感じていただけたかと思います。技術全般において言えることですが、最先端の技術を理解するには、基礎を丁寧に押さえることが最も重要だと思います。多くの参考文献を載せましたので、このような技術に興味がある方や今回を機に興味をもった方は、さらに理解を深めていっていただけると幸いです。 また、後半においては、近年の並列データ処理系が、過去の技術を基礎と
「Kubernetesってなあに？」と娘に聞かれたお父さん。「Kuberenetsは、Dockerコンテナ群をオーケストレーションするためのオープンソースのシステムだよ」と答えたお父さんが作ったのが、この絵本です。 Dockerコンテナの普及とともに、コンテナをクラスタ化した際の運用管理ツールの重要性も高まってきています。Kubernetesはそうした運用管理ツールの1つです。 しかしKubernetesの仕組みと機能はやや複雑です。そこで、分かりやすくKubernetesを紹介しようと、KubernetesをベースにしたPaaS基盤ソフトウェアを開発しているDeis,Incが公開した動画が「The Illustrated Children's Guide to Kubernetes」（よい子のためのKubernetes絵本）です。 もちろん題名はある種のジョークで、中身はきちんとKube
At Yelp we leverage Cassandra to fulfill a diverse workload that seems to combine every consistency and availability tradeoff imaginable. It is a fantastically versatile datastore, and a great complement for our developers to our MySQL and Elasticsearch offerings. However, our infrastructure is not done until it ships and is monitored. When we started deploying Cassandra we immediately started loo
Note: This page is seriously outdated and largely unmaintained; due to past incidents of edit-warring it has not been subject to much peer review. A Bitcoin full node could be modified to scale to much higher transaction rates than are seen today, assuming that said node is running on a high end servers rather than a desktop. Bitcoin was designed to support lightweight clients that only process sm
はじめに 今回から2回に渡って、並列データ処理系のひとつであるSparkについて解説します。まずはじめに、Sparkの開発が始められた経緯を紹介し、次にSparkの特徴を説明します。 Sparkが登場した背景 Sparkは、Hadoop MapReduceと同様に、複数の計算機を用いてデータ処理を行う並列データ処理系です。2009年に、カリフォルニア大学バークレー校のAMPLabにて、Matei Zaharia氏を中心として開発が始まりました。Sparkの開発が始まった当時、世の中にはすでにHadoopが存在しており、高い耐障害性を有しかつスケーラブルな並列データ処理を、コモディティな計算機を用いて行うことは一般的になりつつありました。しかし、Hadoop MapReduceは必ずしも個々の計算機のメモリを効率的に活用する設計ではありませんでした。 Hadoop MapReduceは、ジョ
In CockroachDB, we use the Raft consensus algorithm to ensure that your data remains consistent even when machines fail. In most systems that use Raft, such as etcd and Consul, the entire system is one Raft consensus group. In CockroachDB, however, the data is divided into ranges, each with its own consensus group. This means that each node may be participating in hundreds of thousands of consensu
はじめに 今回は、ImpalaにおけるI/Oの高速化技法について説明します。 前回説明したように、Impalaの実行エンジンは可能な限りメモリ上で処理をすることでアドホッククエリのレイテンシを下げ、スループットを向上させる、という設計方針で開発されています。 しかし、データはストレージ（二次記憶装置）に格納されているため、当然、ストレージへのI/Oを回避することはできません。また、Impalaは実行時に十分なメモリを確保するべく、データをメモリ上に保持（キャッシュ）しないため、クエリを実行するたびにデータをストレージから読み出すことを前提として設計されています[1]。 今回は、このようなユースケースを考慮しつつ、高速・高効率なアドホッククエリを実行するためのI/O処理方式とデータレイアウトについて解説します。 Short-Circuit Local ReadsによるI/Oの高効率化 Sh
2016/3/26 "第52回 データマイニング+WEB ＠東京( #TokyoWebmining 52nd ) ー機械学習活用 祭りー" を開催しました。 第52回 データマイニング+WEB ＠東京( #TokyoWebmining 52nd ) ー機械学習活用 祭りーEventbrite Google グループ 会場提供して下さったFreakOutさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者セキココ：第52回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB
はじめに 今回は、ImpalaのSQL処理の高速化において重要な役割を占めるクエリ処理について説明します。 Impalaのクエリ処理の特徴 Impalaは、MapReduceやSparkをはじめとする既存の手続き型のデータ処理エンジンを使用せず、アドホックなSQLクエリの処理の高効率化に焦点を置いた設計と実装が特徴です。たとえば、結合方法を見てみると、MapやReduceもしくはMapReduceジョブなどのブロッキングオペレータ（第16回）を組み合わせていく処理エンジンにおいては、Impalaにおけるパイプライン結合処理などを実現することは必ずしも容易ではありません（第8回「Impala／Prestoにおける結合処理」）。 また、MapReduceやSparkでは中間データをディスクに書き込むことにより高い耐障害性を実現しますが、Impalaでは耐障害性を多少犠牲にしてメモリ上で処理
I wrote this function which multiplies user features and product features by partitions so that it gets distributed then it gets the ratings for each product by user and sorts them by rating and outputs the list of 8 top recommended products. #Collect product feature matrix productFeatures = bestModel.productFeatures().collect() productArray=[] productFeaturesArray=[] for x in productFeatures: pro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く