はじめに
greatexpectationsはデータのvalidating, documenting, profilingのためのpythonライブラリ. pythonのライブラリなのでpythonのコードに組み込みやすいのでpythonユーザーにおすすめ. 又, shellコマンドも充実しているのでshell scriptで上記の処理を行いたい人にもおすすめ.
great expectationsは大雑把に
- data context (great expectations全体の設定)
- data source (validation data用のディレクトリ)
- expectation suite (validationの設定)
- checkpoint (validationの実行とその結果の保存)
- data docs (expectation suiteやcheckpointの結果の可視化)
から構成されておりこれらがtutorialで概要が把握できる. なのでまずはをやるとよい.