运营商大数据的抓取原理有很多平台非常感兴趣，作为一个运营商大数据从业多年的人员在这里为大家解答一下基本的运营商大数据抓取原理！

运营商大数据主要分配建模抓取和运营商大数据数据接口实时调度两种方式和类型！

先讲下运营商大数据建模抓取技术：主要是通过建立数据模型来分析如网站实时访客数据，手机App活跃用户数据，400电话，固话通话记录数据，接收短信号码用户数据，关键词的搜索者数据等，以上平台均可以任意提供！还可以在此维度上上筛选地区，性别，年龄，职业，爱好，访问次数，通话时长等功能。

再来说一下运营商大数据数据接口实时调度：一般来说是针对拥有网站开发权限，可以植入程序，从而进行访客数据实时分析的。

通过植入网站服务器内部程序，将运营商数据接口实时接入该网站，从而运营商授权，如有访客实时访问，将会实时回调到该网站的拥有者指定的TXT文档里，一般从访问到文档自动生成数据只需要几毫秒。
抓包过程

1，启动SocketServer

2，代码运行到server.accecpt()阻塞

此时lsof -p pid 查看fd，发现fd5 处于LISTEN状态

java 17046 sftcwl 5u IPv6 3865306 0t0 TCP *:websm (LISTEN)

3，启动SocketClient

SocketServer接收到一个连接，内核完成三次握手

抓包命令

tcpdump -nn -i lo port 9090

21:32:17.553914 IP 10.188.40.231.41758 > 10.188.40.230.9090: Flags [S], seq 4066755135, win 29200, options [mss 1460,sackOK,TS val 1698174967 ecr 0,nop,wscale 7], length 0 21:32:17.553966 IP 10.188.40.230.9090 > 10.188.40.231.41758: Flags [S.], seq 3584360549, ack 4066755136, win 1152, options [mss 1460,sackOK,TS val 2199546408 ecr 1698174967,nop,wscale 0], length 0 21:32:17.554209 IP 10.188.40.231.41758 > 10.188.40.230.9090: Flags [.], ack 1, win 229, options [nop,nop,TS val 1698174968 ecr 2199546408], length 0

再查看fd，fd6 ESTABLISHED 与Client已经建立了连接

java 17046 sftcwl 6u IPv6 3865476 0t0 TCP root:websm->10.188.40.231:41758 (ESTABLISHED)

4，Client发送数据

21:35:09.429392 IP 10.188.40.231.41758 > 10.188.40.230.9090: Flags [P.], seq 1:2, ack 1, win 229, options [nop,nop,TS val 1698346843 ecr 2199546408], length 1 21:35:09.429460 IP 10.188.40.230.9090 > 10.188.40.231.41758: Flags [.], ack 2, win 1152, options [nop,nop,TS val 2199718284 ecr 1698346843], length 0 21:35:09.429653 IP 10.188.40.231.41758 > 10.188.40.230.9090: Flags [P.], seq 2:4, ack 1, win 229, options [nop,nop,TS val 1698346843 ecr 2199718284], length 2 21:35:09.430096 IP 10.188.40.230.9090 > 10.188.40.231.41758: Flags [.], ack 4, win 1152, options [nop,nop,TS val 2199718285 ecr 1698346843], length 0

Strace追踪系统调用

strace用于追踪系统调用

strace -ff -o out /bin/java SocketClient

能够看到很多个out文件，每个out文件代表一个线程

在主线程的out文件中能看到以下系统调用

socket(AF_INET6, SOCK_STREAM, IPPROTO_IP) = 5 setsockopt(5, SOL_IPV6, IPV6_V6ONLY, [0], 4) = 0 bind(5, {sa_family=AF_INET6, sin6_port=htons(9090), inet_pton(AF_INET6, "::", &sin6_addr), sin6_flowinfo=htonl(0), sin6_scope_id=0}, 28) = 0 listen(5, 20) poll([{fd=5, events=POLLIN|POLLERR}], 1, -1) = 1 ([{fd=5, revents=POLLIN}]) accept(5, {sa_family=AF_INET6, sin6_port=htons(34972), inet_pton(AF_INET6, "::ffff:10.188.40.230", &sin6_addr), sin6_flowinfo=htonl(0), sin6_scope_id=0}, [28]) = 6

一般运营商大数据实时建模抓取主要应用是企业，行业，销售人员外呼获客。

运营商大数据接口实时调度是主要方便网站推广者，或者竞价网站的的企业，和网站拥有者了解自身全部网站的访客数据信息。从而更好开展业务！