Kafka之Producer源码|大数据|kafka简介Kafka是一个分布式的流处理平台:
发布和订阅数据流,类似于消息队列或者企业消息系统
容错方式存储数据流
数据流到即处理
Kafka主要用于以下两种类型的应用:
建立从系统或者应用中获取可靠实时的数据流管道
建立转换数据流的实时流应用
Kafka有以下4个核心API:
Produce ...
Read more
Flink中的wiki-edits例子实践|大数据|kafka-Flink概览wiki-edits教程是一个监控wikipedia编辑的flink监控程序,实时计算编辑者的编辑的byte数。它通过wikipedia connector来获取数据源,最终把数据sink到kafka中。
建立Maven工程我们使用Flink的Maven原型来创建工程。Flink的版本号为1.5 ...
Read more
Flink在Mac OS X上的安装与启动|大数据|Flink准备工作安装查看java的版本号,推荐使用java8。
12$ java -versionjava version "1.8.0_161"
安装Flink在Mac OS X上安装Flink是非常方便的。推荐通过homebrew来安装。
1234$ brew install apache-flink. ...
Read more
scrapy初探|爬虫|爬虫-scrapyscrapyscrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
安装scrapyscrapy支持Python2.7和Python3.4。你可以通过pip安装scrapy。
1pip install scrapy
创建 ...
Read more
KVO简析|iOS|KVO-runtimeKVO是一种键值观察机制,是Cocoa Binding的基础。通过它,一个对象能在当另一个对象的属性被修改时得到通知。现在让我们来探究一下这个神奇的KVO。
KVO的实现机制KVO是通过runtime来实现的。当首次观察一个对象时,KVO会在runtime时创建一个新的继承原先类的子类。在这个新的子 ...
Read more
Swift中的函数派发机制|iOS|函数派发-Swift函数派发机制指的是程序如何找到函数并执行操作的机制。各种各样不同的需求导致不同的函数派发机制。有时可能希望函数直接执行,比如C++的默认派发机制,有时可能需要函数在运行时执行,那就需要通过函数表派发,比如java,或者需要通过消息派发,比如Objc。但是每种派发机制都有优缺点。
常见的函数派发静态派 ...
Read more
AFNetworkReachabilityManager源码分析|iOS|源码分析AFNetworkReachabilityManager是AFNetworking框架中通过监控蜂窝网络和wifi网络接口的域名和地址的可达性的网络状态管理类。它其实是封装了底层SystemConfiguration类,使得网络监控变得像一个插件一样,简单易用。
AFNetworkReachabil ...
Read more
隐藏在图片中的密钥|安全|密钥在客户端开发的时候,有时需要把密钥保存在本地。这时就会遇到密钥安全性的问题。要保证密钥安全性,无非就是混淆、隐藏、白盒等手段。本文以隐藏在图片中来阐述密钥的安全保存。
PNG图片便携式网络图形(PNG)是一种无损压缩的位图图形格式,支持索引、灰度、RGB三种颜色方案以及Alpha通道等特性。
文件结 ...
Read more
Swift和Objective-C的十个不同点|iOS|Objective-C-Swift2014年6月2号,苹果发布了一个新的面向对象的语言:Swift,做为Objective-C的替代者。作为一门新的语言,Swift在简单易用上面获得了大量的好评,从而它的上升速度是非常快的。从图中可以看到,Swift的排名已经超越了Objective-C。虽然在中国可能还大部分在使用Objectiv ...
Read more
一次日志统计分析之旅|大数据|Spark-Flume-Kafka随着移动互联网、云计算、物联网的崛起与发展,大数据的时代已经来临。当数据量不停增长时,如何实时查询和分析业务的状况变的业务状况变的越来越重要。本文主要包含以下几个方面:
数据采集
消息队列
数据存储
离线分析
当数据产生时,通过flume客户端去采集数据,然后放入kafka消息队列中,接着通过f ...
Read more