linux之awk基础知识

在Linux环境下，awk是一个功能强大的文本处理工具，适合解析、处理和分析数据。
通过awk的基本操作，我们可以轻松实现数据过滤、排序、统计和格式化等功能。
首先，您需要了解awk的基本语法和命令。
awk主要使用分隔符（-F）来指定数据字段的划分，以及正则表达式（~）进行数据匹配。
1、打印文件的最后一行：使用awk-F''{print$NF}'num来执行操作。
NF代表最后一列，最后一列的值是通过$NF获得的。
2.打印文件的第一行：使用awk-F'''{print$1}'num来实现这一点。
$1获取第一列的值。
3、字符匹配：通过awk'{if($1=="empty")print$0}'等级过滤条件。
如果$1等于“空”，则打印该行的内容。
4、复杂条件匹配：使用awk'{if(length($1)>2&&$2>50)print$0}'grade，结合长度函数和数值比较，实现更复杂的数据过滤。
5、awk的三个阶段：BEGIN、循环体、END。
BEGIN阶段在循环开始前执行一次，END阶段在循环结束后执行一次，循环体在处理完每一行数据时执行。
实际使用：处理日志文件并提取特定信息。
例如，提取test.log中uid:*的内容。
使用awk-F'|''{for(i=1;i"test_out"}'来实现，将满足条件的行输出到test_out文件中，使用>重定向输出并覆盖文件。
总结，awk-command三个步骤和关键命令（-F,~,=,>,>>）使计算灵活高效在实际应用中，根据需要灵活使用awk函数可以提高计算效率数据分析和处理的效率。

Linux操作系统文件系统基础知识详解

1.Linux文件结构。
文件结构是一种组织存储在磁盘等存储设备上的文件的方法。
主要影响文件和目录的组织。
目录提供了一种方便有效的文件管理方式。
Linux使用标准的目录结构。
在安装过程中，安装程序已经为用户创建了一个文件系统和完整固定的目录组成，并指明了每个目录的作用和其中的文件类型。
/根目录┃┏‐‐┳‐‐‐┳‐‐‐┳‐‐‐‐╋‐‐‐┳──────┳──────┳──────┓┃┃┃┃┃┃┃┃┃binyomedevetclibsbintmpusrvar┃┃┏‐┻‐┓┏‐‐┳‐‐┳‐‐┳‐┻‐┳‐‐┓┃┃┃┃┃┃┃┃rc.dcron.dX11R6srcliblocalmanbin┃┏–––┳––┳–┻–┳–––┓┃┃┃┃┃init.drc0.drc1.drc2.dlinuxbinlibsrcLinux采用树形结构。
最顶层是根目录，所有其他目录都是从根目录创建的。
MicrosoftDOS和Windows也使用树形结构，但在DOS和Windows中，树形结构的根是磁盘分区的驱动器号。
分区数有多种树结构，它们之间的关系是并行的。
。
但在Linux中，无论操作系统管理多少个磁盘分区，都只有一棵这样的目录树。
从结构上来说，每个磁盘分区上的树目录不一定是平行的。
如果这很难理解，我举个例子：有一个硬盘分为4个分区，即/；windows下的/usr和fat。
是从属关系；对于/boot和/usr来说，它们是并行关系。
如果我将一个厚的Windows分区挂载到/mnt/winc（挂载？哦，别担心哈哈，我稍后会谈到这一点。
）然后对于/mnt/winc和/usr或对于/mnt/winc和/boot是属于目录树的两个分支，彼此之间没有联系。
由于Linux是多用户系统，制定固定的目录规划有助于统一管理系统文件和各种用户文件。
但这正是让许多从Windows转向Linux的新手头疼的问题。
下面列出了一些主要Linux目录的功能。
/bin二进制可执行命令/dev设备特殊文件/etc控制文件和系统配置/etc/rc.d启动配置文件和脚本/home用户主目录的基点，例如用户主目录/home/user。
可以用~user代表标准编程库/lib，也称为共享动态链接库，类似于Windows中的.dll文件/sbin系统管理命令。
这是sysadmin/tmp文件共享/rootsysadmin主目录（哈哈，特权）使用的管理程序的存放位置。
类)/mnt系统提供该目录是为了允许用户临时挂载其他文件系统。
/lost+found目录通常是空的。
系统崩溃并在此处留下一个杂散文件（在Windows中称为.chk）。
/proc虚拟目录是系统内存的映射。
可以直接访问该目录来获取系统信息。
/var是一些大文件的溢出区域，例如来自各种服务的日志文件。
/usr是最大的目录，几乎所有需要使用的应用程序和文件都在这个目录中。
包括：/usr/X11R6目录，存放Xwindow；/usr/bin-一些超级用户的管理程序；文档/usr/doclinux;

Linux基础知识(4):文件搜索命令

在Linux中，掌握文件搜索命令对于日常操作至关重要。
首先我们来了解一下locate命令，它是用来快速定位文件的。
格式为：例如，locate文件名可以快速定位到文件的大致位置。
搜索系统命令、它们所在的位置以及哪些命令有用。
whereis主要用于查找命令的路径和帮助文档。
格式为：whereis命令名称仅适用于系统命令。
例如，whereisls可以显示ls命令的路径。
并且which可以搜索命令的位置并显示别名，如：whichls会告诉你ls命令的详细路径。
真正强大的文件搜索工具是Find命令，它可以根据文件特征（如名称、大小、时间等）进行精确搜索。
find命令的基本格式为：find路径-参数。
例如，find/-namefilename可以避免广泛搜索并使用*或?等通配符。
Find还可以按照所有者、文件大小、修改时间等条件进行过滤，比如find/root-mtime+10可以查找10天前修改过的文件。
grep命令是一个文本搜索神器，用于查找文件中的关键字。
格式为：grep关键字文件路径。
它可以帮助我们快速定位包含特定字符串的文件。
总结一下，locate、where's、which、find是Linux中常用的文件搜索工具，各有各的特点和适用场景。
了解并熟练使用这些命令可以大大提高Linux的运行效率。
至于详细的操作指南和进一步学习，您可以关注我们的官方微信公众号或访问CSDN和知乎博客获取更多信息。

Linux操作系统的知识点总结

Linux操作系统的基础知识并不难理解。
了解基础知识可以帮助您更好地学习Linux。
下面我收集了相关知识为大家总结了Linux操作系统的知识点。
希望对大家有用！

•CPU：就像人脑一样，主要负责。
相关事项的判断和实际处理。

查询命令：cat/proc/cpuinfo

•内存：大脑中的内存块，从皮肤、眼睛等采集到的信息都存放在这里。
注册CPU品牌判断。
查询命令：cat/proc/meminfo

物理内存

物理内存就是我们插入主板内存插槽的内存条的容量。
在看你的电脑配置时，最重要的是看物理内存

虚拟内存

Windows使用虚拟内存技术，即硬盘空间的一部分当内存满时，电脑会自动调用硬盘充当内存，以缓解内存电压。

条件：Windows中虚拟内存和物理内存都可以使用，Linux中只有当物理内存用完时才会使用虚拟内存

•硬盘：内存区域为大脑块会记录重要数据，以便将来再次使用。

查询命令：fdisk-l（需要root权限）

具体命令稍后介绍

•vmstat

•sar

•iostat

•顶部

·免费

·正常运行时间

·netstat

·ps

·strace

·lsof

数据>硬盘>虚拟内存（swaP）》内存》cpu缓冲区》执行队列

分析方向，只能反向

•CPU：电子邮件服务器和动态Web服务器容易出现瓶颈

•内存：容易出现此类瓶颈的打印服务器、数据库服务器和静态Web服务器服务器

•磁盘I/O：频繁读写操作的元素

··网络带宽：频繁大量上传下载项目

​1.系统安装优化

安装Linux系统时，影响磁盘分区和SWAP内存分配直接影响系统性能。
关于虚拟内存SWAP的设置，不再有所谓的虚拟内存应该是物理内存的两倍的要求。
但根据经验，如果内存较小（物理内存小于4GB），则采用SWAP交换分区。
大小通常设置为内存的两倍。
如果物理内存约为。
4GB及小于16GB，可以设置SWAP大小等于或略小于物理内存，如果内存大于16GB可以设置SWAP为0，但最好设置SWAP一定大小

•2内核参数优化

例如，如果系统部署了Oracle数据库应用，系统就会。
共享内存段必须为(kernel.shmmax,kenerl.shmmni,kernel.shmall)，

系统信号量(kernel.sem)、文件句柄(fs.file0max)等参数进行优化并设置如果部署WEB应用时，需要根据Web应用的特点优化网络参数，例如修改net.ipv4.ip_local_port_range；、net.ipv4.tc_tw_reuse、net.core.somaxconn等网络

核心参数

•3文件系统优化

Linux下可选的文件系统包括ext2、ext3、xfs、ReiserFS

Linux默认文件系统启动。
有了VFS，那么ext、ext2，ext2是Linux上默认的文件系统，ext3是在ext2的基础上添加日志形成的。
从VFS到ext3，设计思路没有太大变化。
它们都是基于早期UNIX家族的超级块和索引节点设计理念而设计的。
XFS文件系统是一个SGI开发的高级日志文件系统。
它通过分配磁盘请求、定位数据和维护缓存一致性，提供对文件系统数据的低延迟、高带宽访问。
因此，XFS具有极高的可扩展性并且非常健壮，具有出色的日志记录能力、强大的可扩展性和快速的写入速度。
ReiserFS是HansReiser领导下开发的高性能日志文件系统。
它通过完全平衡的树来管理数据，包括文件数据、文件名和日志支持等。
相比ext2和ext3，最大的优点是访问性能和安全性大大提高。
具有高效合理利用磁盘空间、一流的日志管理机制、特殊的搜索方式、海量磁盘存储等优点。

物理内存和虚拟内存

1。
如何查看物理内存和虚拟内存？

top命令可以看到物理内存和虚拟内存的值

2.Buffer

还有硬盘控制器上的存储芯片以极快的访问速度将硬盘内部存储器存储与外部接口之间的缓冲区。
由于硬盘内部数据传输速率与外部接口传输速率不同，因此缓存起到缓冲作用。
缓存的大小和速度是直接关系到硬盘传输速度的重要因素，可以极大地提高硬盘的整体性能。

【3.Cache

高速缓冲存储器（CacheMemory）是位于CPU和内存之间的临时存储器。
容量比内存小得多，但交换速度却比内存快很多。
缓存的出现主要是为了解决CPU运算速度和内存读写速度之间的矛盾，因为CPU运算速度远快于内存读写速度，这会导致CPU长时间等待。
。
数据到达或将数据写入内存。
缓存中的数据是内存的一小部分，但这小部分却是在短时间内直接从缓存中访问CPU，从而加快了读取速度

【4.CPU中断

当CPU执行完当前指令后，如果外部设备向处理器发送中断请求。
如果满足响应，CPU就会发出中断响应信号，同时关闭中断，表明CPU不再接受其他设备的中断。
此时，CPU会查找哪个设备是中断请求的来源，并将内容存储在CPU自己的程序计数器（PC）中。
然后他将传递到处理该中断源的中断服务例程。
CPU存储现场信息并进行设备服务（如交换数据）后，将现场信息恢复。
这些操作完成后，打开中断，返回到原来被中断的主程序的下一条语句。

5.上下文切换

上下文切换（ContextSwitch）或环境切换

在多任务系统中，上下文切换意味着CPU的控制权转移从正在运行的任务到达另一个明确的任务时发生的事件。

在操作系统中，当CPU切换到另一个进程时，需要保存当前进程的状态并恢复另一个进程的状态：当前任务转为就绪（或挂起），删除），另一个是选择的就绪任务成为当前任务。
上下文切换包括保存当前任务的运行环境和恢复待执行任务的运行环境。

进程上下文由进程的PCB（进程控制块，也称PCB，任务控制块）来表示，其中包括进程状态、CPU寄存器值等

通常，通过执行状态保存来保存CPU的当前状态，然后执行状态恢复以重新启动操作。

上下文切换会对性能产生负面影响。
然而，某些上下文切换比其他上下文切换更昂贵；更昂贵的上下文切换之一是Cross-CoreContextSwitch。
线程可以在专用处理器上运行，也可以跨处理器运行。
由单个处理器服务的线程具有处理器亲和性（ProcessorAffinity），效率更高。
抢占和调度另一个处理器核心上的线程可能会因高速缓存未命中和过多的上下文切换来访问本地内存而导致高速缓存未命中。
简而言之，这称为“跨核心上下文切换”。

6.进程和线程

进程概念

进程是表示资源分配的基本单位，也是调度和执行的基本单位。
例如，当用户运行自己的程序时，系统创建一个进程并为其分配资源，包括各种表、内存空间、磁盘空间、I/O设备等。
然后将进程放入进程清除队列中。
进程调度程序选择它并在进程实际运行之前为其分配CPU和其他相关资源。
因此，进程是系统中并发执行的单位。

线程概念

线程是进程中执行操作的最小单位，即进行处理器调度的基本单位。
如果把进程理解为操作系统逻辑上完成的任务，那么线程就代表完成该任务的众多可能的子任务之一

进程与线程的关系

【(1)一个线程只能属于一个进程，一个进程可以有多个线程，但至少必须有一个线程。
(2)资源分配给进程，同一进程中的所有线程共享进程中的所有资源。

(3)处理器被分配给线程，即线程实际运行在处理器上。

(4)线程在执行过程中必须合作、同步。
不同进程的线程必须使用消息通信来实现同步。