日常流水帐

发表于 | 分类于

老史语录：

操作系统(页面置换、单线程（僵尸进程，孤儿进程，写时拷贝）、多线程（线程上下文，内核态用　户态，系统调用）、信号量、死锁)
网络 （三次握手、四次挥手，文件描述符，监听套接字， select，poll，epoll，红黑树）
数据结构（老爷爷的书加DP）
数据库 （索引， B+树，事务，Innodb， myIsam）

额外加干活需要的东西：
Python（Cookbook + FluentPython）
设计模式等等等等。

不过这也只是一个方向而已…. 具体面试会不会问这些问题还是看面试官的喜好。还是多刷leetcode来的直接…

声明：一下内容来自老马推荐的　https://github.com/CyC2018/CS-Notes
抄到这里是便于自己复习。

操作系统

计算机操作系统

概述

基本特征

  • 并发　并发是指宏观上在一段时间内能同时运行多个程序，而并行则指同一时刻能运行多个指令。并行需要硬件支持，如多流水线、多核处理器或者分布式计算系统。操作系统通过引入进程和线程，使得程序能够并发运行。
  • 共享　共享是指系统中的资源可以被多个并发进程共同使用。有两种共享方式：互斥共享和同时共享。互斥共享的资源称为临界资源，例如打印机等，在同一时刻只允许一个进程访问，需要用同步机制来实现互斥访问。
  • 虚拟　虚拟技术把一个物理实体转换为多个逻辑实体。主要有两种虚拟技术：时（时间）分复用技术和空（空间）分复用技术。多个进程能在同一个处理器上并发执行使用了时分复用技术，让每个进程轮流占用处理器，每次只执行一小个时间片并快速切换。虚拟内存使用了空分复用技术，它将物理内存抽象为地址空间，每个进程都有各自的地址空间。地址空间的页被映射到物理内存，地址空间的页并不需要全部在物理内存中，当使用到一个没有在物理内存的页时，执行页面置换算法，将该页置换到内存中。
  • 异步 异步指进程不是一次性执行完毕，而是走走停停，以不可知的速度向前推进。

    基本功能

  • 进程管理　进程控制、进程同步、进程通信、死锁处理、处理机调度等。
  • 内存管理　内存分配、地址映射、内存保护与共享、虚拟内存等。
  • 文件管理　文件存储空间的管理、目录管理、文件读写管理和保护等。
  • 设备管理　完成用户的 I/O 请求，方便用户使用各种设备，并提高设备的利用率。主要包括缓冲管理、设备分配、设备处理、虛拟设备等。

    系统调用

    如果一个进程在用户态需要使用内核态的功能，就进行系统调用从而陷入内核，由操作系统代为完成。
    Linux 的系统调用主要有以下这些：
    Task Commands
    进程控制 fork(); exit(); wait();
    进程通信 pipe(); shmget(); mmap();
    文件操作 open(); read(); write();
    设备操作 ioctl(); read(); write();
    信息维护 getpid(); alarm(); sleep();
    安全 chmod(); umask(); chown();

    大内核和微内核

  • 大内核　大内核是将操作系统功能作为一个紧密结合的整体放到内核。由于各模块共享信息，因此有很高的性能。
  • 微内核　由于操作系统不断复杂，因此将一部分操作系统功能移出内核，从而降低内核的复杂性。移出的部分根据分层的原则划分成若干服务，相互独立。在微内核结构下，操作系统被划分成小的、定义良好的模块，只有微内核这一个模块运行在内核态，其余模块运行在用户态。因为需要频繁地在用户态和核心态之间进行切换，所以会有一定的性能损失。

    中断分类

  • 外中断　由 CPU 执行指令以外的事件引起，如 I/O 完成中断，表示设备输入/输出处理已经完成，处理器能够发送下一个输入/输出请求。此外还有时钟中断、控制台中断等。
  • 异常　由 CPU 执行指令的内部事件引起，如非法操作码、地址越界、算术溢出等。
  • 陷入　在用户程序中使用系统调用。

    进程管理

    进程与线程

  • 进程　进程是资源分配的基本单位。进程控制块 (Process Control Block, PCB) 描述进程的基本信息和运行状态，所谓的创建进程和撤销进程，都是指对 PCB 的操作。
  • 线程　线程是独立调度的基本单位。一个进程中可以有多个线程，它们共享进程资源。QQ 和浏览器是两个进程，浏览器进程里面有很多线程，例如 HTTP 请求线程、事件响应线程、渲染线程等等，线程的并发执行使得在浏览器中点击一个新链接从而发起 HTTP 请求时，浏览器还可以响应用户的其它事件。
  • 区别　Ⅰ 拥有资源　进程是资源分配的基本单位，但是线程不拥有资源，线程可以访问隶属进程的资源。Ⅱ 调度　线程是独立调度的基本单位，在同一进程中，线程的切换不会引起进程切换，从一个进程中的线程切换到另一个进程中的线程时，会引起进程切换。Ⅲ 系统开销　由于创建或撤销进程时，系统都要为之分配或回收资源，如内存空间、I/O 设备等，所付出的开销远大于创建或撤销线程时的开销。类似地，在进行进程切换时，涉及当前执行进程 CPU 环境的保存及新调度进程 CPU 环境的设置，而线程切换时只需保存和设置少量寄存器内容，开销很小。Ⅳ 通信方面　线程间可以通过直接读写同一进程中的数据进行通信，但是进程通信需要借助 IPC。

    进程状态切换

  • 就绪状态（ready）：等待被调度
  • 运行状态（running）
  • 阻塞状态（waiting）：等待资源

应该注意以下内容：

  • 只有就绪态和运行态可以相互转换，其它的都是单向转换。就绪状态的进程通过调度算法从而获得 CPU 时间，转为运行状态；而运行状态的进程，在分配给它的 CPU 时间片用完之后就会转为就绪状态，等待下一次调度。
  • 阻塞状态是缺少需要的资源从而由运行状态转换而来，但是该资源不包括 CPU 时间，缺少 CPU 时间会从运行态转换为就绪态。

    进程调度算法

  • 批处理系统　批处理系统没有太多的用户操作，在该系统中，调度算法目标是保证吞吐量和周转时间（从提交到终止的时间）。1.1 先来先服务 first-come first-serverd（FCFS）非抢占式的调度算法，按照请求的顺序进行调度。有利于长作业，但不利于短作业，因为短作业必须一直等待前面的长作业执行完毕才能执行，而长作业又需要执行很长时间，造成了短作业等待时间过长。1.2 短作业优先 shortest job first（SJF）非抢占式的调度算法，按估计运行时间最短的顺序进行调度。长作业有可能会饿死，处于一直等待短作业执行完毕的状态。因为如果一直有短作业到来，那么长作业永远得不到调度。1.3 最短剩余时间优先 shortest remaining time next（SRTN）最短作业优先的抢占式版本，按剩余运行时间的顺序进行调度。 当一个新的作业到达时，其整个运行时间与当前进程的剩余时间作比较。如果新的进程需要的时间更少，则挂起当前进程，运行新的进程。否则新的进程等待。
  • 交互式系统　交互式系统有大量的用户交互操作，在该系统中调度算法的目标是快速地进行响应。2.1 时间片轮转将所有就绪进程按 FCFS 的原则排成一个队列，每次调度时，把 CPU 时间分配给队首进程，该进程可以执行一个时间片。当时间片用完时，由计时器发出时钟中断，调度程序便停止该进程的执行，并将它送往就绪队列的末尾，同时继续把 CPU 时间分配给队首的进程。时间片轮转算法的效率和时间片的大小有很大关系：　因为进程切换都要保存进程的信息并且载入新进程的信息，如果时间片太小，会导致进程切换得太频繁，在进程切换上就会花过多时间。而如果时间片过长，那么实时性就不能得到保证。2.2 优先级调度为每个进程分配一个优先级，按优先级进行调度。为了防止低优先级的进程永远等不到调度，可以随着时间的推移增加等待进程的优先级。2.3 多级反馈队列一个进程需要执行 100 个时间片，如果采用时间片轮转调度算法，那么需要交换 100 次。多级队列是为这种需要连续执行多个时间片的进程考虑，它设置了多个队列，每个队列时间片大小都不同，例如 1,2,4,8,..。进程在第一个队列没执行完，就会被移到下一个队列。这种方式下，之前的进程只需要交换 7 次。每个队列优先权也不同，最上面的优先权最高。因此只有上一个队列没有进程在排队，才能调度当前队列上的进程。可以将这种调度算法看成是时间片轮转调度算法和优先级调度算法的结合。
  • 实时系统 实时系统要求一个请求在一个确定时间内得到响应。分为硬实时和软实时，前者必须满足绝对的截止时间，后者可以容忍一定的超时。

    进程同步

  • 临界区 对临界资源进行访问的那段代码称为临界区。为了互斥访问临界资源，每个进程在进入临界区之前，需要先进行检查。
    // entry section
    // critical section;
    // exit section
  • 同步与互斥　同步：多个进程因为合作产生的直接制约关系，使得进程有一定的先后执行关系。互斥：多个进程在同一时刻只有一个进程能进入临界区。
  • 信号量　信号量（Semaphore）是一个整型变量，可以对其执行 down 和 up 操作，也就是常见的 P 和 V 操作。down : 如果信号量大于 0 ，执行 -1 操作；如果信号量等于 0，进程睡眠，等待信号量大于 0；up ：对信号量执行 +1 操作，唤醒睡眠的进程让其完成 down 操作。down 和 up 操作需要被设计成原语，不可分割，通常的做法是在执行这些操作的时候屏蔽中断。如果信号量的取值只能为 0 或者 1，那么就成为了 互斥量（Mutex） ，0 表示临界区已经加锁，1 表示临界区解锁。使用信号量实现生产者-消费者问题
    问题描述：使用一个缓冲区来保存物品，只有缓冲区没有满，生产者才可以放入物品；只有缓冲区不为空，消费者才可以拿走物品。
    因为缓冲区属于临界资源，因此需要使用一个互斥量 mutex 来控制对缓冲区的互斥访问。
    为了同步生产者和消费者的行为，需要记录缓冲区中物品的数量。数量可以使用信号量来进行统计，这里需要使用两个信号量：empty 记录空缓冲区的数量，full 记录满缓冲区的数量。其中，empty 信号量是在生产者进程中使用，当 empty 不为 0 时，生产者才可以放入物品；full 信号量是在消费者进程中使用，当 full 信号量不为 0 时，消费者才可以取走物品。注意，不能先对缓冲区进行加锁，再测试信号量。也就是说，不能先执行 down(mutex) 再执行 down(empty)。如果这么做了，那么可能会出现这种情况：生产者对缓冲区加锁后，执行 down(empty) 操作，发现 empty = 0，此时生产者睡眠。消费者不能进入临界区，因为生产者对缓冲区加锁了，消费者就无法执行 up(empty) 操作，empty 永远都为 0，导致生产者永远等待下，不会释放锁，消费者因此也会永远等待下去。
  • 管程　使用信号量机制实现的生产者消费者问题需要客户端代码做很多控制，而管程把控制的代码独立出来，不仅不容易出错，也使得客户端代码调用更容易。c 语言不支持管程，下面的示例代码使用了类 Pascal 语言来描述管程。示例代码的管程提供了 insert() 和 remove() 方法，客户端代码通过调用这两个方法来解决生产者-消费者问题。管程有一个重要特性：在一个时刻只能有一个进程使用管程。进程在无法继续执行的时候不能一直占用管程，否则其它进程永远不能使用管程。管程引入了 条件变量 以及相关的操作：wait() 和 signal() 来实现同步操作。对条件变量执行 wait() 操作会导致调用进程阻塞，把管程让出来给另一个进程持有。signal() 操作用于唤醒被阻塞的进程。

    经典同步问题

  • 哲学家进餐问题　五个哲学家围着一张圆桌，每个哲学家面前放着食物。哲学家的生活有两种交替活动：吃饭以及思考。当一个哲学家吃饭时，需要先拿起自己左右两边的两根筷子，并且一次只能拿起一根筷子。下面是一种错误的解法，如果所有哲学家同时拿起左手边的筷子，那么所有哲学家都在等待其它哲学家吃完并释放自己手中的筷子，导致死锁。
  • 读者-写者问题　允许多个进程同时对数据进行读操作，但是不允许读和写以及写和写操作同时发生。一个整型变量 count 记录在对数据进行读操作的进程数量，一个互斥量 count_mutex 用于对 count 加锁，一个互斥量 data_mutex 用于对读写的数据加锁。

    进程通信

    进程同步与进程通信很容易混淆，它们的区别在于：

进程同步：控制多个进程按一定顺序执行；
进程通信：进程间传输信息。
进程通信是一种手段，而进程同步是一种目的。也可以说，为了能够达到进程同步的目的，需要让进程进行通信，传输一些进程同步所需要的信息。

  • 管道　管道是通过调用 pipe 函数创建的，fd[0] 用于读，fd[1] 用于写。它具有以下限制：只支持半双工通信（单向交替传输）；
    只能在父子进程或者兄弟进程中使用。
  • FIFO　也称为命名管道，去除了管道只能在父子进程中使用的限制。FIFO 常用于客户-服务器应用程序中，FIFO 用作汇聚点，在客户进程和服务器进程之间传递数据。
  • 消息队列　相比于 FIFO，消息队列具有以下优点：消息队列可以独立于读写进程存在，从而避免了 FIFO 中同步管道的打开和关闭时可能产生的困难；避免了 FIFO 的同步阻塞问题，不需要进程自己提供同步方法；读进程可以根据消息类型有选择地接收消息，而不像 FIFO 那样只能默认地接收。
  • 信号量　它是一个计数器，用于为多个进程提供对共享数据对象的访问。
  • 共享存储　允许多个进程共享一个给定的存储区。因为数据不需要在进程之间复制，所以这是最快的一种 IPC。需要使用信号量用来同步对共享存储的访问。多个进程可以将同一个文件映射到它们的地址空间从而实现共享内存。另外 XSI 共享内存不是使用文件，而是使用内存的匿名段。
  • 套接字　与其它通信机制不同的是，它可用于不同机器间的进程通信。

    死锁

  • 必要条件　
    • 互斥：每个资源要么已经分配给了一个进程，要么就是可用的。
    • 占有和等待：已经得到了某个资源的进程可以再请求新的资源。
    • 不可抢占：已经分配给一个进程的资源不能强制性地被抢占，它只能被占有它的进程显式地释放。
    • 环路等待：有两个或者两个以上的进程组成一条环路，该环路中的每个进程都在等待下一个进程所占有的资源。
  • 处理方法
    • 鸵鸟策略　把头埋在沙子里，假装根本没发生问题。因为解决死锁问题的代价很高，因此鸵鸟策略这种不采取任务措施的方案会获得更高的性能。当发生死锁时不会对用户造成多大影响，或发生死锁的概率很低，可以采用鸵鸟策略。大多数操作系统，包括 Unix，Linux 和 Windows，处理死锁问题的办法仅仅是忽略它。
    • 死锁检测与死锁恢复　不试图阻止死锁，而是当检测到死锁发生时，采取措施进行恢复。
      • 每种类型一个资源的死锁检测　上图为资源分配图，其中方框表示资源，圆圈表示进程。资源指向进程表示该资源已经分配给该进程，进程指向资源表示进程请求获取该资源。图 a 可以抽取出环，如图 b，它满足了环路等待条件，因此会发生死锁。每种类型一个资源的死锁检测算法是通过检测有向图是否存在环来实现，从一个节点出发进行深度优先搜索，对访问过的节点进行标记，如果访问了已经标记的节点，就表示有向图存在环，也就是检测到死锁的发生。
      • 每种类型多个资源的死锁检测　上图中，有三个进程四个资源，每个数据代表的含义如下：
        E 向量：资源总量
        A 向量：资源剩余量
        C 矩阵：每个进程所拥有的资源数量，每一行都代表一个进程拥有资源的数量
        R 矩阵：每个进程请求的资源数量
        进程 P1 和 P2 所请求的资源都得不到满足，只有进程 P3 可以，让 P3 执行，之后释放 P3 拥有的资源，此时 A = (2 2 2 0)。P2 可以执行，执行后释放 P2 拥有的资源，A = (4 2 2 1) 。P1 也可以执行。所有进程都可以顺利执行，没有死锁。算法总结如下：
        每个进程最开始时都不被标记，执行过程有可能被标记。当算法结束时，任何没有被标记的进程都是死锁进程。寻找一个没有标记的进程 Pi，它所请求的资源小于等于 A。如果找到了这样一个进程，那么将 C 矩阵的第 i 行向量加到 A 中，标记该进程，并转回 1。如果没有这样一个进程，算法终止。
      • 死锁恢复　
        • 利用抢占恢复
        • 利用回滚恢复
        • 通过杀死进程恢复
    • 死锁预防　
      在程序运行之前预防发生死锁。
      • 破坏互斥条件　例如假脱机打印机技术允许若干个进程同时输出，唯一真正请求物理打印机的进程是打印机守护进程。
      • 破坏占有和等待条件　一种实现方式是规定所有进程在开始执行前请求所需要的全部资源。
      • 破坏不可抢占条件
      • 破坏环路等待 给资源统一编号，进程只能按编号顺序来请求资源。
    • 死锁避免
      • 安全状态
      • 单个资源的银行家算法
      • 多个资源的银行家算法

    内存管理

    虚拟内存

    分页系统地址映射

    页面置换算法

    分段

    段页式

    分页与分段的比较

    设备管理

    磁盘结构

    磁盘调度算法

  • 先来先服务
  • 最短寻道时间优先
  • 电梯算法
    ###　链接
    ####　编译系统
    ####　静态链接
    ####　目标文件
    ####　动态链接

    Linux

    网络

    计算机网路

    HTTP

    Socket

    I/O模型

    阻塞式I/O

    非阻塞式I/O

    I/O复用

    信号驱动I/O

    异步I/O

    五大I/O模型比较

    I/O复用

    select

    poll

    比较

    epoll

    工作模式

    应用场景

    算法　

    剑指

    Leetcode

    算法

    题库

    面向对象

    面向对象思想

    设计模式

    数据库

    数据库系统原理

    SQL

    Leetcode-database

    MySQL

    Redis

    Python

    Golang

    系统设计

    系统设计基础

    分布式

    集群

    攻击技术

    缓存

    消息队列

    工具

    Git

    Docker

    构建工具

    正则表达式

    编程实践

    代码可读性

    代码风格规范