博客视频音乐美图软件
技术思绪摘录旅行笔记
五、.NET5 WebApi 日志利用Logstash收集到Elasticsearch中 原创声明
利用Logstash收集到Elasticsearch中，好处就是对代码没有侵入性，我的代码中，无需关心ELK的逻辑，也不关心日志的处理方式，我只产生日志即可

一、ELK日志归集之Elasticsearch安装（CentOS 7.5）

二、ELK日志归集之LogStash安装（CentOS 7.5）

三、ELK日志归集之Kibana安装（CentOS 7.5）

四、.NET5 WebApi 直接输出到Elasticsearch

五、.NET5 WebApi 日志利用Logstash收集到Elasticsearch中


1、创建.NET5 WebApi项目

2、配置日志文件输出目录，假设输出到/opt/logs/

image.png

3、创建一个配置文件

>cd /opt/apps/logstash-7.14.0/config/
>vim netcore.conf

填写以下内容：

input {
	file{
		path => "/opt/logs/*.txt"
		codec => json
		start_position => "beginning"
		type => "yb-log"
	}
}

output {
	if [type] == "yb-log" { 
        elasticsearch {
            hosts => ["http://10.3.1.171:9200"]
            index => "yb-log-%{+YYYY.MM.dd}"
        }
    }
	
	stdout{
		codec => rubydebug
	}
}

保存退出

4、再次启动Logstash服务

>./logstash -f ../config/netcore.conf

会看到正在疯狂的把我们的日志文件处理并读取到es中

image.png

5、进入Kibana中查看，可以看到索引管理已经看到我们的日志前缀了

image.png6、新建索引模式，discover中查看

image.png

7、这样找日志快得多，对代码还没有侵入性。

以上主要是演示logstash从指定文件夹中归集日志，其他的项目是一样的操作。


CarsonIT 微信扫码关注公众号 策略、创意、技术

上一篇 下一篇

留下您的脚步

 

最近评论

查看更多>>

.NET MYSQL ELECTRON 算法 LINUX C# HTML EF CODEFIRST JAVASCRIPT WEBAPI 二维码 .NET6 ORM ELK ELASTICSEARCH 日志归集 工具 SQLSERVER LOGSTASH .NET5 JENKINS 持续集成 自动化部署 CENTOS EFCORE MONGODB HTTPS CANVAS KIBANA

站点统计

总文章数：276 总分类数：18 总评论数：90 总浏览数：186.55万

精选推荐

阅读排行

搜索关键字高亮算法

搜索关键字高亮算法

很多场景都有搜索，展示搜索结果的时候，关键字的地方高亮显示，让用户一眼就能看到自己想要的内容来自于哪里。很好的体验，但是这个算法有没有适用于很多场景的？有没有兼容脚本混编的？不影响脚本和尖括号的情况下，高亮显示文字内容。
HTML网页在Windows中打开exe程序并传值

HTML网页在Windows中打开exe程序并传值

我们经常会看到网页拉起QQ、拉起迅雷，我们能不能写一个自己程序，让网页也能拉起我们自己的程序呢？这篇文章就介绍了如何操作才能拉起我们的自己的程序。
EFCore扩展字段包含数组中任意一个

EFCore扩展字段包含数组中任意一个

Entity Framework (EF) Core 是轻量化、可扩展、开源和跨平台版的常用 Entity Framework 数据访问技术。帮我们生成标准的SQL和执行数据库操作。
鼠标移上去看大图最好的案例之一

鼠标移上去看大图最好的案例之一

应用场景中，很多时候需要预览大图，但是显示的时候由于UI设计限制，只能是显示缩略图，由此我们产生了新的体验，鼠标放上去预览大图。
支付密码输入自定义键盘

支付密码输入自定义键盘

自定义键盘的应用场景很多，也很多地方都能看到，目的是为了让输入更准确更安全，不再需要额外的去判断其他字符，好处还是有很多，自定义键盘还要阻止手机默认键盘的弹出。
ASP.NET Core显示Entity Framework Core的Sql日志

ASP.NET Core显示Entity Framework Core的Sql日志

在日常开发中，我们会需要看到我们逻辑执行查询的sql，来判断我们的逻辑是否正确，曾经只能打日志，不是很方便，现在.NET Core平台下，提供了很多配置，让我们很方便就能看到Sql日志
m3u8视频下载器3.8.1

m3u8视频下载器3.8.1

之所以推荐这个下载器，不光是因为他能下载大多数场景下的m3u8的视频，主要是还支持http接口进行新增任务。
坚果 Pro 2 产品视频

坚果 Pro 2 产品视频

骁龙 ™ 660 处理器 · 1200 万 + 500 万像素双摄像头 · 3500mAh 大电池 · 18W 快速充电 · 人脸解锁 + 指纹解锁
一、ELK日志归集之Elasticsearch安装（CentOS 7.5）

一、ELK日志归集之Elasticsearch安装（CentOS 7.5）

平时项目一多，那么日志就很多，不要小看日志的作用，日志系统在系统中是一个很重要的组成部分，日志写得好，能更快的定位问题并解决问题，日志收集的好 ，能更快的找到日志；今天介绍的ELK就是专门来解决我们的问题，当然他并非只能用来做日志归集，本次分多篇介绍，先介绍安装
《Despacito》 萨克斯版

《Despacito》 萨克斯版

《Despacito》是波多黎各歌手Luis Fonsi和Daddy Yankee合唱的歌曲，发行于2017年1月13日 。美国歌手Justin Bieber参与的混音版于2017年4月17日发行 ，该混音版于2017年5月登上美国Billboard Hot 100榜首。除此之外，原版和混音版在全世界20多个国家的榜单上获得冠军。
解决WordPress无法发送邮件的方法

解决WordPress无法发送邮件的方法

当我测试找回密码的功能的时候，发现提示发送失败，原因可能是你的服务器禁用了mail()方法。本来想修复，最后想了下，算了，直接简单粗暴的替换掉他的发送方法，用我们自己的方法，去调用别人的smtp服务器来完成发送操作。将以下代码放在主题文件夹里面的functions.php里面保存即可
.NET Core 使用本地自签证书实现HTTPS协议

.NET Core 使用本地自签证书实现HTTPS协议

现在要想让你测试的站点支持HTTPS，VS在创建项目的时候，可以直接勾选HTTPS选项，用自带证书，可以实现SSL加密。但是今天解决的问题，如果我项目创建的时候没勾选，我之前不支持HTTPS，现在我要让他支持该如何处理？
WinFrom 如何设置任务栏右下角小图标，应该用哪些控件？

WinFrom 如何设置任务栏右下角小图标，应该用哪些控件？

本文只做个备忘，记录一下，winform程序如何配置程序的右下角任务栏图标，以及右键菜单和还原主窗体的操作。
Oracle 小数前面0丢失的情况处理

Oracle 小数前面0丢失的情况处理

Oracle是一个面向Internet计算环境的数据库。它是在数据库领域一直处于领先地位的Oracle（即甲骨文公司）的产品。可以说Oracle 关系数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。就这，仍然有需要改进的地方。
XX 文库下载器 3.4

XX 文库下载器 3.4

这款文库下载器来自吾爱作者 bean0283，近日百度更新了接口，原下载器失效，作者就更新了可用版本。
windows环境下Redis安装

windows环境下Redis安装

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
体验神奇的九寨/黄龙

体验神奇的九寨/黄龙

九寨沟位于四川省阿坝藏族羌族自治州九寨沟县境内，地处青藏高原、川西高原、山地向四川盆地过渡地带，南距成都市300多公里，是一条纵深50余千米的山沟谷地，总面积64297公顷，森林覆盖率超过80%。因沟内有树正寨、荷叶寨、则查洼寨等九个藏族村寨坐落在这片高山湖泊群中而得名。
.net 实现Socket通信（第二种方式）

.net 实现Socket通信（第二种方式）

Socket的英文原义是“孔”或“插座”。作为BSD UNIX的进程通信机制，取后一种意思。通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一般运行了多个服务软件，同时提供几种服务。每种服务都打开一个Socket，并绑定到一个端口上，不同的端口对应于不同的服务。Socket正如其英文原义那样，像一个多孔插座。一台主机犹如布满各种插座的房间，每个插座有一个编号，有的插座提供220伏交流电， 有的提供110伏交流电，有的则提供有线电视节目。 客户软件将插头插到不同编号的插座，就可以得到不同的服务。
SqlServer批量替换字段字符

SqlServer批量替换字段字符

SqlServer批量替换字段字符，有时候一张表的某个字段中集体出现某个字符或者错误，需要修正的时候，可以利用本文介绍的方式直接一键修改。
FlashFXP 5.4.0 强大的FTP工具

FlashFXP 5.4.0 强大的FTP工具

FlashFXP是一款功能强大的FXP/FTP软件，集成了其它优秀的FTP软件的优点，如CuteFTP的目录比较，支持彩色文字显示；如BpFTP支持多目录选择文件，暂存目录；又如LeapFTP的界面设计。支持目录（和子目录）的文件传输，删除；支持上传，下载，以及第三方文件续传；可以跳过指定的文件类型，只传送需要的本件；可自定义不同文件类型的显示颜色；暂存远程目录列表，支持FTP代理及Socks 3&4；有避免闲置断线功能，防止被FTP平台踢出；可显示或隐藏具有“隐藏”属性的文档和目录；支持每个平台使用被动模式等。
疫情数据关注工具-支持全平台版本(12月15停止更新，一个时代的结束)

疫情数据关注工具-支持全平台版本(12月15停止更新，一个时代的结束)

疫情形式严峻，我十分关心每天的疫情动态，但是我发现无论是百度的疫情动态，还是腾讯的动态，数据都不完整，而且腾讯的风险地区更新不及时，导致经常看到错误数据。
.NET WebApi配置Swagger详细教程

.NET WebApi配置Swagger详细教程

Swagger可以根据xml文件生成api接口文档，前后端节约沟通时间，减少对接成本，是一个非常好的解决方案；本文主要记录一下，Vs2019从0开始，搭建一个WebApi最终利用Swagger看到相关接口，并解决Swagger汉化的问题，解决Swagger在.net Webapi中控制器名称标注问题。
《灵笼》白月魁 壁纸

《灵笼》白月魁 壁纸

国漫《灵笼》特别篇播出，作为第一季的大结局剧情，灵笼在最后一话的特别篇中终于把地面神秘人物白月魁的身份信息给揭露了出来，原来之前马克队长猜得没有错，当时在下到地面采集物资的时候，看到的女子其实就是白月魁小队，她们是生活在地面的人类，但是从本质而言，似乎已经和人类有所区别。
Hangfire任务调度从入门到实践

Hangfire任务调度从入门到实践

Hangfire是一个任务调度的组件，自带面板，可以操作正在运作的任务，可以看到执行情况，而且使用起来简单，Hangfire不受特定.NET应用程序类型的限制，只要是.NET Framework 4.5以上，Newtonsoft.Json library ≥ 5.0.1，有一个mysql或者mssql数据库即可。而且最新的支持.NET Core,这篇文章主要记录一下如何在.NET Core 3.1中用mysql来帮助Hangfire实现持久化。
Resharper 2021.3.2-VS2022可用的扩展插件

Resharper 2021.3.2-VS2022可用的扩展插件

ReSharper是一个JetBrains公司出品的著名的代码生成工具。其能帮助Microsoft Visual Studio成为一个更佳的IDE，它包括一系列丰富的能大大增加C#和Visual Basic .net开发者生产力的特征。使用ReSharper，你可以进行深度代码分析，智能代码协助，实时错误代码高亮显示，解决方案范围内代码分析，快速代码更正，一步完成代码格式化和清理，业界领先的自动代码重构，高级的集成单元测试方案，和强大的解决方案内导航和搜索。实质上，ReSharper特征可用于C#，VB.NET，XML，ASP.NET，XAML，和构建脚本。ReSharper还为C#和VB.NET提供了增强的交叉语言功能，它使开发者可以有效的控制.net混合项目。
EFcore+MySql 数据迁移的时候，怎么给表结构加注释？

EFcore+MySql 数据迁移的时候，怎么给表结构加注释？

Microsoft.EntityFrameworkCore是一个非常不错的设计，当一套系统里面出现太多的SQL，其实已经不合理了，所以EF让开发者不再接触SQL，而是直接以对象形式操作数据库，EF来负责Sql代码生成和执行，通常在开发中，有根据数据表结构来生成实体的，也有根据实体生成数据库的，就是所谓的DbFirst和CodeFirst，这篇文章主要说一下CodeFirst的应用，用的是MySql数据库。
可能是最简单的控制台输出二维码

可能是最简单的控制台输出二维码

二维码使用场景很广泛，最近遇到需要在控制台输出二维码，但是其中遇到一些问题，导致代码正常，但是显示确不正常，本文给出的代码已经完全解决了这些问题，而且非常简洁。
.NET5 WebApi 实现JWT及其验证实战

.NET5 WebApi 实现JWT及其验证实战

Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可被加密。本文只是举个例子，可以这么整，如果要用于生产环境，可能得再封装一下，注释都加的齐全，没用过的可以看看。
阿里云对象存储OSS使用STS临时授权给Browser.js

阿里云对象存储OSS使用STS临时授权给Browser.js

阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%（12个9），服务可用性（或业务连续性）不低于99.995%。OSS具有与平台无关的RESTful API接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。如果你的应用场景仅仅是网站上传个图片、视频这些，那么阿里云OSS和七牛云的作用是一样的。
C# 对比两个实体类指定字段是否被修改并得出修改记录

C# 对比两个实体类指定字段是否被修改并得出修改记录

需求来源：一条数据被编辑之后，日志要记录下改动了什么项，从什么改成什么了，还得可以指定某些字段，比如用户表，只要改了用户名，就记录一下日志，业务可以根据是否有修改来发送通知啊或者启用禁用啊这些操作。
MongoDb 4.2.7 配置复制（副本集replSet）实现主从同步（Windows）

MongoDb 4.2.7 配置复制（副本集replSet）实现主从同步（Windows）

MongoDB在4.0之后，增加了事务，说明Mongodb生态越来越丰富，将来肯定可以满足更多的应用场景，在用了事务之后，操作数据的时候报错，提示实例需要是副本集，这篇文章就说一下，什么是副本集，能干啥？
利用PinYinConverter实现汉字转拼音，支持多音字

利用PinYinConverter实现汉字转拼音，支持多音字

汉字转拼音的需求不多，但是遇到了再去写，稍显麻烦，索性写一个辅助类放着，这里利用了Microsoft.International.Converters.PinYinConverter类库，多音字则以多种组合的方式返回给开发者。
百度网盘简易下载助手 网速拉满小插件

百度网盘简易下载助手 网速拉满小插件

这个插件可以实现百度网盘全速的下载，缺点是每次只能下载一个文件，非常好用
Postman的一个小技巧 Pre-request Script的使用

Postman的一个小技巧 Pre-request Script的使用

Postman一款非常流行的API调试工具。其实，开发人员用的更多。因为测试人员做接口测试会有更多选择，例如Jmeter、soapUI等。不过，对于开发过程中去调试接口，Postman确实足够的简单方便，而且功能强大。
Visual Studio生成注释的插件GhostDoc，支持2022

Visual Studio生成注释的插件GhostDoc，支持2022

GhostDoc为Visual Studio中的C#代码编辑器安装了一个新的命令。在编辑源文件时，只需将光标置于要添加文档的方法或属性内部，然后通过热键（默认为Ctrl+Shift+D）或右键菜单中的Document this菜单项调用命令，GhostDoc就会插入一段XML格式的注释。你也许会想到在方法或属性前面键入"///"时的类似效果，但是后者只能创建一段空的注释构造，而GhostDoc则能够生成大部分实用的注释。
NPOI导出Excel，包含一个或者多个sheet表

NPOI导出Excel，包含一个或者多个sheet表

NPOI是指构建在POI 3.x版本之上的一个程序，NPOI可以在没有安装Office的情况下对Word或Excel文档进行读写操作。NPOI是一个开源的C#读写Excel、WORD等微软OLE2组件文档的项目。他导出的文件和你电脑右键创建的office文件一样原生，不会提示格式不符，重要的是不依赖office组件。
5年后，我们为什么要从 Entity Framework 转到 Dapper 工具？

5年后，我们为什么要从 Entity Framework 转到 Dapper 工具？

向来有争议的话题都是公说公的理，婆说婆的理，Entity Framework的爱好者对此可以说是嗤之以鼻，不屑一顾，而Dapper爱好者则是举双手赞成，阅之大快人心。每个人不同的阅历，社会经验，甚至对简繁的偏见都会影响对此事的看法，凡事都有优劣，取其精华而弃之糟泊，方为上策。这篇文章则将目光聚焦到Dapper。
倩女幽魂套图

倩女幽魂套图

倩女幽魂套图，收藏了，这个工作室画的很好，惊艳，美观
没有一种工作是不委屈的

没有一种工作是不委屈的

毕业季也是就业季，今年我国有765万高校毕业生将走出校园，步入职场，数据显示目前已有一半人找到了工作。没找到的那一半中，有些人并非能力不行，而是不愿“将就”，总想一步到位找到一份心满意足的工作；找到的那一半也没有“万事大吉”，有些人因为无法调整好自己的心态而郁郁寡欢……
可能是最简单的手机号码生成算法

可能是最简单的手机号码生成算法

如果用算法来生成手机号，需要怎么做呢？实际场景中经常会用到手机号，那么手机号有那些，知道了规则，那么生成就知道如何下手了，这篇文章就介绍了如何生成手机号码。

友情打赏

请打开您的微信,扫一扫

开源中国 CSDN社区 技术博客 microsoft .net 博客园

© 1994-2024 yangshaofeng. All Rights Reserved.
蜀ICP备16016433号-1
川公网安备 51010702003150号