Camus example for Protocol buffer & sequence file format in hdfs

前言
Linkedin/Camus 是一個Hadoop map-reduce job, 專門去Kafka 讀取message, 接著存到hdfs, 要利用Camus來讀取protocol buffer得自己實做decoder, 這篇範例在decoder 只是單純輸出Kafka byte message, 接著sequence file format output 得實做RecordProvider去寫檔到hdfs, 以供後續Elephant-bird+Hive 讀取 

Data pipeline sample, from Kafka to hive with protocol buffer

前言
Big data analysis之前的data preprocessing是一個複雜的工程, 得處理好比如data的format, lost, volume, integrity, store等等, preprocessing 過程不完善, 會影響後續analysis 的正確性, 再者商業競爭下對於策略分析要求即時性, 隨時從customer的response 來分析, 並重新佈局來面對網路上千變萬化的競爭. 因此Big data從business data一路到analysis platform 並且能即時分析, 整套Big data infrastructure 是一門學問