Splunk 数据搜索和报表

Splunk 是？

Splunk是机器数据分析平台，他可以收集并处理所有有机器产生的日志数据，在Splunk中可以做到”any data from any source”。我们作为管理员可以使用Splunk生成这些数据的报表、仪表盘等，赋予这冰冷枯燥日志数据的新生。

搜索是Splunk核心功能之一，基本上近乎所有的功能都是由搜索展开的。充分挖掘这些数据并从中获得有价值的信息，这让我想起在泥沙中淘金的感觉。从基本的报表和仪表，再到数据模型和功能完备的Splunk应用程序，这些都是由Splunk搜索在后台提供着支撑。

Splunk使用自己的搜索语言(SPL)。SPL有很多搜索指令，其中大部分包含有多种函数，参数和字句。

搜索

Splunk的搜索以基本搜索开头，之后是一系列的搜索指令，命令之间由管道符号(|)分割。Splunk搜索时经常会使用管道符不断精炼数据结果。

当然Splunk也可以直接搜索你想要的元素，比如一个agent、IP、error。但是只有在数据量很少的情况下才可以这么用，否则在海量(GB)级别的文本数据中搜索一个单词或者一个IP地址还不如淘到金子的可能性大。因此使用SPL和多种Splunk命令来提炼搜索。搜索的越精细，搜索的执行时间就越少，也能尽快的找到这些所需要的数据。

尽可能的在第一个管道符之前尽可能多的过滤内容，这会节省CPU和磁盘I/O。并且在编写完查询指令后可以先将搜索时间番位设置较短的区间，如果查找的结果是需要的数据再扩大搜索范围。

常用搜索指令

命令	描述
chart/ timechart	将结果以表格的形式输出。或者借助Splunk图表按时间顺序展示输出结果
dedup	根据指定的字段删除重复的结果
eval	评估新的或现有的字段和值。eval可以实用化许多不同的函数
fields	指定在搜索结果中保留或移除字段
head	该命令保留前X（指定值）行的结果
lookup	从外部源或列表查找字段，返回附加的字段值
rare	从字段中找到最少值
rename	重新命名字段
replace	该命令允许随后对结果进行搜索和过滤
sort	该命令按升降序对结果进行排序
stats	对结果执行统计运算。stats命令可以使用许多不同的函数
table	该命令把结果以列表的格式输出
tail	保留最后X（指定）行的结果
top	从字段中找到最常见的值
transaction	该命令根据共同的事务标识符将多个时间合并为单一事件

高级时间配置

在搜索框的右面可以选择限定时间范围，当你所要查找的时间比较复杂的时候，可以尝试使用高级选项来选取时间范围。

时间修饰符可以接受多种时间单位：秒(s)，分钟(m)，小时(h)，天(d)，星期(w)，月(mon)，季度(q)，年(y)等。

比如要搜索在一天前的半夜整点到距离当前时间30分钟前出现过的全部事件可以这样表示：最早=-1d@d/最晚=-30m

(@)是向下取整标志符。

布尔运算符

Splunk中可以使用三种类型的布尔运算符：AND、OR、NOT。Splunk只会识别这三个大写的运算符，所以要大写！默认情况下AND运算符是隐含的，可以不写。比如 ssh AND failure等同于ssh failure。

搜索字段

Splunk中的字段可以被认为是有着一个或多个值的关键词。这些字段都可以被Splunk搜索。进入到Splunk的每一个数据源都会至少包含源、主机、索引、源类型这四个字段，一些数据源会有数百个附加的字段。如果原始日志数据包含有键值对或以JSON或XML结构化格式呈现的数据，Splunk会自动提取字段并使其可供搜索。

搜索特定的字段值也很简单，在当你Splunk自动识别或手表标记好的字段后，直接输入字段名与布尔运算符就可以进行搜索。如sourcetype="access_combined" status!=200，就可以搜索含有来源类型为access_combined，并且status字段值不等于200的事件。

报表

在搜索结束后可以保存搜索供以后继续使用或者用于仪表盘。保存的搜索被称之为报表。

让搜索的结果更具有可读性

有了上面的基础，就可以来为这些数据填些花样玩法。

table命令生成数据列表

在Splunk首页选择“搜索和报表”应用程序。时间选择器选择“过去24小时”。之后搜索index=main sourcetypee=access，之后会返回原始数据搜索事件。

此时我们在刚才的搜索指令使用管道符相连table命令：index="main" sourcetype="access_combined" | table _time,referer_domain,method,uri_path,JSESSIONID,useragent。

这样的列表会只显示你关注的字段，而不现实原始事件，将数据以数据列表形式呈现。

点击右上角的另存为——>报表，就可以将将搜索存储为报表，方便下次的时候使用。

搜索分段	描述
index=”main”	Splunk中所有的数据都会保存在一个或多个索引中。尽管没有强制要求，不过再好在搜索时指定索引，这样能更快并且更精确的得到搜索结果
sourcetype=”access_combined”	只搜索与access_combined数据源类型
|table _time,referer_domain,method,uri_path,JSESSIONID,useragent	使用table命令时，将上一步的搜索结果放到管道左面。并告知Splunk以列表格式返回数据。Splunk会在搜索结果中只显示table命令中规定的字段

table命令对大范围数据搜索有很高的性能需求，尽可能的要将table用在搜索末尾，当其他的Splunk命令处理完毕后，再执行table命令。

下载报表

我们已经把数据呈现为可读的格式，因此可以下载这些数据并存储为CSV文件格式方便我们统计数据。在搜索栏右侧下方有一个导出按钮，这里可以选择其他格式：JSON、XML、CSV。

将每个字段制表

如果需要将所有字段都列成表格，没必要指定所有字段名。可以使用通配符(*)。

index="main" sourcetype="access_combined" | table *

但是！假设全部的字段有很多，然而你还不想要全部字段，只需要大部分的字段，那么你可以在使用table命令之前使用fields命令先移除你不需要的字段再使用通配符(*)。

index="main" sourcetype="access_combined" |fields - sourcetype,index,_row,date* linecount| table *

在fields命令后加上一个减号(-)，Splunk会将后面的字段移除。

找出最常访问的网页

在获得了Web服务器日志后，你就能看得到你的客户喜欢哪些网站，如果可以找到最常访问的网页，那么可以在这些页面上继续开发新功能！哪些访问次数较少的可以将他们移除掉或者重新设计一下！

index="main" sourcetype="access_combined" | stats count by uri_path | sort - count

搜索分段	描述
stats count by uri_path	使用stats命令，将上一步的搜索结果放在管道左侧，并告知Splunk计算每个uri_path字段值的数量。
sort - count	将上一步stats命令生成的count字段作为输入，并告知Splunk将统计结果进行降序(-)，最常访问的网站就会显示在结果的顶端

搜索访问量排名前10的网页

可以使用top代替stats命令。默认情况下top会显示排名前10的网页

index="main" sourcetype="access_combined" | top uri_path

如果你需要查看更多的排行，用limit可以满足你！

index="main" sourcetype="access_combined" | top limit=20 uri_path

找出最常使用的Web浏览器

Web日志中也包含了useragent相关信息，其中包括浏览器信息和操作系统信息。

index="main" sourcetype="access_combined" | eval browser=useragent | replace *Firefox* with Firefox,*Chrome* with Chrome,*MSIE* with IE,*Safari* with Safari,*Opera* with Opera in browser | top useother=t browser

搜索分段	描述
eval browser=useragent	使用eval命令，创建一个新的字段browser并将useragent字段中的内通存放到browser字段中
replace *Firefox* with Firefox,*Chrome* with Chrome,*MSIE* with IE,*Safari* with Safari,*Opera* with Opera in browser	使用replace命令，利用通配符(*)将browser中匹配到的内容使用with参数后面的文本替换。如果包含空格的值要加上引号，否则会导致语法识别错误
top limit=5 userother=t browser	top命令告知Splunk找到排名前5的浏览器，并将limit所限制导致溢出的值都归到OTHER下

同理也可以统计出用户所使用的操作系统。

index="main" sourcetype="access_combined" | eval os=useragent | replace *Windows* with Windows系统 ,*Mac* with Mac系统,*Linux* with Linux系统 in os | top limit=10 useother=t os