数值计算 on Yuunagi Library

前言

Mon, 01 Jan 0001 00:00:00 +0000

"数值分析"课程是科学计算方面的重要基础课程之一，承担着引导计算科学入门到介绍数值计算中各种基本算法的任务。随着科学技术的快速发展，对数值计算方面知识的要求也越来越高，这就迫切需要一本适合于目前工科学生学习的教材。本着这样的想法，同济大学计算数学教研室的有关教师在原有教材的基础上编写了此教材。

希望达到两个目的：一是在课程中介绍数值计算领域中的基本思想、基本理论与基本算法，如函数插值与逼近，线性与非线性方程（组）的求解，数值积分与微分，矩阵的特征值与特征向量的计算，微分方程的近似数值解；二是适当地介绍一些当今科学与工程研究中遇到的数值计算问题求解的新方法，如快速傅里叶变换，高维积分的蒙特卡罗方法，数值求导的稳定算法，大型线性方程组的分块迭代算法等。当然，由于课时的限制，我们只给出这些内容的一个初步介绍，有兴趣者可以参阅有关的参考书。

本着实用的原则，同时也由于是工科学生教材以及课时限制的原因，我们在介绍一些数学上比较深入的结论时，往往省略了相关的理论证明。在介绍一些重要的典型算法的同时，附上了在工程中广泛使用的 Matlab 程序，以便于大家在修完此课程后能快速地上手做一些工程项目中的计算与编程问题。

全书共分 9 章，由同济大学计算数学教研室有关任课教师集体编写：

章节	编者
第 1 章科学计算与 Matlab、第 7 章非线性方程求根	陈雄达
第 2 章线性方程组的直接解法、第 6 章线性方程组的迭代解法	殷俊锋
第 3 章多项式插值与样条插值、第 4 章函数逼近	陈素琴
第 5 章数值积分与数值微分	徐承龙
第 8 章矩阵特征值与特征向量的计算、第 9 章常微分初边值问题数值解	王琤

全书由徐承龙负责组织与协调，陈雄达与殷俊锋负责本书的排版和校对。本书适合作为高等院校本科生和工科研究生的教材与参考书，需要读者掌握高等数学、线性代数和初步的概率方面的知识。

由于编写时间和水平的限制，本书不可避免出现错误，我们殷切希望广大读者提出批评与修改建议。

——编者，2009 年 7 月于同济大学

第1章 · 科学计算与 Matlab

Mon, 01 Jan 0001 00:00:00 +0000

1.1 科学计算的意义#

数值计算是随着计算机的出现和大规模计算的需求而发展起来的一门新兴学科. 数值计算主要考虑各种数学模型及其算法, 这些数学模型是为了解决各类应用领域, 特别是科学与工程计算领域的实际问题而提出的. 为此, 数值计算有时也称为科学计算、工程计算或科学工程计算. 随着科学技术的发展, 计算机的性能和算法的效率, 即计算机的硬件和软件水平, 都有了飞速的提高, 需要求解的实际问题规模也成倍扩大, 其中的数学模型日趋复杂. 通常, 这些数学模型是不能够精确地求解的, 这时需要简化模型并且提出相应的数值解法, 然后在计算机上编程实现, 求解这些问题并作实际检验. 随着硬件性能的提高和软件上各种高效算法的出现, 人类的计算能力迅猛提高, 并同时期待能解决一些超大规模的具有挑战性的问题, 如基因测序、全球天气模拟等. 对于同一个问题, 不同的算法在计算性能上可能相差百万倍甚至更多, 科学计算的主要任务就是设计高效可靠的数值算法. 例如: 用一个每秒钟计算一亿次浮点运算的计算机求解一个20阶的线性代数方程组, 用克拉默 (Cramer) 法和行列式展开法计算至少需要30万年, 而用高斯消去法只不过用几秒钟而已. 这个事实说明了两个问题: 一方面, 计算方法效率的提高速度往往比计算机性能的提高更快; 另一方面, 选择高效率的计算方法无疑是极其重要的.

科学与工程计算领域中的问题求解一般要经历下面的几个过程。首先根据实际问题构造相应的数学模型，把它转换为可以计算的问题，称为数值问题，然后根据问题特点选择计算方法并编制程序，最后在计算机上求解。科学计算的主要研究内容是提出数值问题，设计高效的算法，并探讨全过程中各种误差对近似解的影响。数值问题要求对有限个输入数据计算得出有限个输出数据，这些输出数据通常称为数值解，或者也可以理解为近似解。数值算法则是求解问题数值解的方法，它是由有限个明确的无歧义的操作组成的对输入数据的变换，其中每一个操作都是计算机能够完成的，例如，仅包含加减乘除的运算。一个算法只有在保证可靠的前提下才有可能评价其性能的好坏，通俗地讲，可靠性方面包含诸如算法的收敛性、稳定性、误差估计等多方面的内容。评价一个算法的优劣应该考虑其时间复杂度（即占用的计算机时间）、空间复杂度（即占用的计算机存储空间）以及逻辑复杂度（即程序开发的周期长短及维护的难易程度）。

由于各种科学计算问题最后通常都归结为求解一些基本的问题, 所以数值算法领域的许多工作者为这些基本问题设计了一些相对固定的高效算法, 并把它们设计成简单且容易调用的功能函数并形成软件包. 但由于实际问题的复杂性及算法自身的适应性, 调用者必须自行选择适合自己问题的功能函数. 现代数值计算领域流行的软件有 Maple, Mathematica, Matlab 等, 但不仅限于这些软件, 更多软件可以在网上查询 (http://www.netlib.org), 其中, Matlab 软件是在工程计算界广泛使用的深受计算工作者和工程师喜爱的软件之一. Matlab 的官方网站是 http://www.mathworks.com.

鉴于实际问题的复杂性, 通常将一个实际问题具体分解为一系列的子问题进行研究, 数值工作者把这些子问题归纳总结为数学上不同的几类问题. 本课程主要涉及如下几方面的问题: 第 1 章余下部分为数值计算的基本知识及 Matlab 软件简介, 其后各章内容包括函数的插值与逼近、数值积分与数值微分、线性方程组的直接解法和迭代解法、非线性方程组的求解、矩阵特征值问题的求解以及常微分方程的数值解.

1.2 误差基础知识#

人们常用相对误差、绝对误差或有效数字来说明一个近似值的准确程度. 这些概念在科学计算中被广泛应用, 下面我们对有关概念作一介绍.

第2章 · 线性方程组的直接解法

Mon, 01 Jan 0001 00:00:00 +0000

如何利用计算机来快速、稳定、有效地求解大规模线性方程组的问题是科学计算的核心问题之一. 实际上, 各种各样的科学与工程问题往往最终都要归结为一个求解线性方程组的问题. 例如, 结构分析、网络分析、数据分析、最优化及非线性方程组和微分方程数值解等.

求解线性方程组的方法可分为直接法和迭代法两大类.

直接法是指在没有舍入误差的情况下经过有限次运算可求得方程的精确解的方法。直接法需要的计算量比较大，一般为方程组维数的三次方。需要注意的是，由于浮点运算的精度的影响，在实际计算中，直接法往往不可能给出完全精确的计算解。

迭代法则是采取逐次逼近的方法, 从一个初始向量出发, 按照一定的计算格式, 构造一个向量的无穷序列, 其极限是方程组的精确解. 迭代法只经过有限次运算得不到精确解, 但是可以得到满足精度要求的近似解.

本章主要讨论一些最基本的直接法, 并在此基础上讨论它们的各种改进以及矩阵分解的一些概念. 求解线性方程组的迭代法将在第 6 章中介绍.

2.1 高斯消去法#

考虑 $n$ 阶线性方程组

$$ \boldsymbol{A} \boldsymbol{x} = \boldsymbol{b},\tag{2.1} $$

系数矩阵为 $\boldsymbol{A}=(a_{ij})_{n\times n}$ ，右端向量和精确解分别为： $\boldsymbol{b}=(b_{1},b_{2},\cdots,b_{n})^{\mathrm{T}},\boldsymbol{x}=(x_{1},x_{2},\cdots,x_{n})^{\mathrm{T}}$ 。它的分量形式为

$$ \left\{\begin{array}{c} a_{11} x_{1} + a_{12} x_{1} + \dots + a_{1 n} x_{n} = b_{1}, \\ a_{21} x_{1} + a_{22} x_{1} + \dots + a_{2 n} x_{n} = b_{2}, \\ \vdots \\ a_{n 1} x_{1} + a_{n 2} x_{1} + \dots + a_{nn} x_{n} = b_{n}. \end{array} \right. $$

用高斯消去法求解上述线性方程组的计算过程如下.

第3章 · 多项式插值与样条插值

Mon, 01 Jan 0001 00:00:00 +0000

我们提出三个有关函数表达式的问题, 来说明本章及第 4 章 (函数逼近) 中论述的主题.

第一个问题, 假定已有一个函数的数值表如表 3-1, 要问: 是否能找到一个简单且便于计算的公式, 利用它可以算出给定区间上任意点的值.

表 3-1 一般插值数据表

x	$ x_{1} $	$ x_{2} $	$ \cdots $	$ x_{n} $
y	$ y_{1} $	$ y_{2} $	$ \cdots $	$ y_{n} $

第二个问题, 设给定一个函数 $f$ , $f$ 的表达式非常复杂, 计算 $f$ 的值很不经济. 在这种情况下, 就要寻找另一个函数 $p$ , 它既易于求值且又是对 $f$ 的一个合理的逼近.

第三个问题与第一个问题类似, 但假定表中给出的数值带有误差. 比如当这些值来自于物理实验时, 就可能出现这种情况. 现在要寻找一个公式, 使得它可以近似地表示这些数据.

在这三个问题中, 都能得到一个简单的函数 $p$ 来表示或逼近给定的数值表或函数 $f$ . 简单的函数 $p$ 的类型可以是多项式、样条函数、三角函数及有理函数等.

对第一个问题的解答, 就是插值方法. 本章重点讨论函数 p 为多项式和样条函数的插值方法.

对第二个问题的解答, 就是连续函数逼近的方法. 根据度量逼近的标准不同, 逼近又分为一致逼近和平方逼近, 将在第 4 章讨论. 第三个问题实际上是离散函数的逼近问题, 也将在第 4 章讨论.

第4章 · 函数逼近

Mon, 01 Jan 0001 00:00:00 +0000

现在我们要回答第 3 章开始时提出的第二个问题和第三个问题, 即函数的逼近问题. 函数逼近问题根据度量逼近函数 $p(x)$ 与被逼近函数 $f(x)$ 的近似程度的标准不同, 可分为一致逼近和平方逼近.

用函数 $f(x)$ 和 $p(x)$ 的最大误差 $\| p - f\|_{\infty} = \max_{a\leqslant x\leqslant b}|p(x) - f(x)|$ 作为度量逼近函数 $p(x)$ 对被逼近函数 $f(x)$ 的逼近程度.若存在一个函数序列 $p_n(x)$ , 满足 $\lim_{n\to \infty}\| p_n(x) - f(x)\|_\infty = 0,$ 则意味着序列 $\{p_n(x)\}$ 在区间 $[a,b]$ 上一致收敛到 $f(x)$ . 序列 $\{p_n(x)\}$ 对 $f(x)$ 的逼近称为一致逼近.

也可以用积分 $\| p - f\| _2 = \left(\int_a^b (p(x) - f(x))^2\mathrm{d}x\right)^{\frac{1}{2}}$ 作为度量逼近函数 $p(x)$ 与被逼近函数 $f(x)$ 的近似程度.若存在一个函数序列 $\{p_n(x)\}$ ，满足 $\lim_{n\to \infty}\| p_n(x) - f(x)\| _2 = 0,$ 则称序列 $\{p_n(x)\}$ 在区间 $[a,b]$ 上平方收敛到 $f(x)$ .序列 $\{p_n(x)\}$ 对 $f(x)$ 的逼近称为平方逼近.

第5章 · 数值积分与数值微分

Mon, 01 Jan 0001 00:00:00 +0000

5.1 引言#

本章我们研究各种求积分的数值方法. 主要讨论有限区间上的单重积分, 无穷区间上的积分以及高维数值积分的蒙特卡罗 (Monte Carlo) 方法.

由高等数学中的牛顿-莱布尼茨 (Newton-Leibniz) 公式, 若函数 $f(x)$ 在区间 $[a, b]$ 上连续, 则有积分

$$ I [ f ] = \int_{a}^{b} f (x) \mathrm{d} x = F (b) - F (a), $$

其中 $F(x)$ 为 $f(x)$ 的原函数, 即 $F'(x) = f(x)$ . 由此可见, 只要求出原函数, 积分值即可求出. 但在许多实际问题中, $f(x)$ 的原函数很难求出, 甚至根本无法写出表达式. 例如 $f(x) = \mathrm{e}^{-x^{2}}$ , $\frac{\sin x}{x}$ 等. 另外, 有时函数是以在一系列离散点上的值的形式出现的, 如表 5-1 所示.

表 5-1 函数值表

x	$x_{1}$	$x_{2}$	$x_{3}$	$\cdots$	$x_{n}$
f(x)	$f(x_{1})$	$f(x_{2})$	$f(x_{3})$	$\cdots$	$f(x_{n})$

我们的目的就是合理利用上述信息, 构造适当的算法, 从而求出积分的近似值.

第6章 · 线性方程组的迭代解法

Mon, 01 Jan 0001 00:00:00 +0000

随着计算技术的发展, 计算机的存储量日益增大, 计算速度也迅速提高. 可是, 需要求解的问题的规模也越来越大, 对计算存储和速度的要求也越来越大. 譬如, 从地球物理和大气预测等问题中来的线性方程组的未知量有十几亿 (10 ) 个, 甚至更多. 用直接法求解这样的问题需要很大的内存空间, 而且计算量也非常大, 计算时间通常需要几天, 甚至几个月.

因此, 在现有的计算条件下, 针对应用问题设计一个高效稳定的算法便显得至关重要. 在实际应用中, 迭代法是目前求解大规模稀疏线性方程组的主要方法之一. 它能够充分利用系数矩阵的稀疏性质, 占用内存少, 运算方便, 计算程序也较为简单.

目前, 迭代法可以分为定常迭代法和不定常迭代法两大类. 定常迭代法的迭代矩阵通常保持不变, 包括雅可比 (Jacobi) 迭代法、高斯-赛德尔 (Gauss-Seidel) 迭代法和超松弛 (SOR) 迭代法等. 不定常迭代法一般指基于变分方法来最小化线性方程组的残量 $(\boldsymbol{r} = \boldsymbol{b} - \boldsymbol{A}\boldsymbol{x})$ 的一大类迭代方法, 通常没有明显的迭代矩阵, 包括求解对称正定线性方程组的共轭梯度法和求解不对称线性方程组的广义极小残量 (GMRES) 法等.

本章主要讨论这些基本的迭代方法, 包括如何建立迭代格式, 迭代收敛的条件, 误差估计和收敛速度等课题.

6.1 范数和条件数#

线性方程组的解是一个向量, 称为解向量. 近似解向量与精确解向量之差成为近似解的误差向量. 为了估计误差的大小, 需要引入衡量向量和矩阵大小的度量概念——范数.

6.1.1 向量范数和矩阵范数#

首先给出向量范数的定义.

定义 6.1.1　对任意 n 维向量 x, 若对应非负实数 $\|x\|$ , 且满足

第7章 · 非线性方程求根

Mon, 01 Jan 0001 00:00:00 +0000

7.1 非线性方程求根的基本问题#

类似于线性代数方程组 Ax=b 求解的问题, 非线性方程求解的问题也可以提为 $f(x)=y$ , 其中 $f: R^{n} \to R^{m}$ 是一个非线性函数, $y \in R^{m}$ 是一个给定的向量, $x \in R^{n}$ 是一未知向量. 这一问题也可以描述如下: 在映射 f 下, y 的原像 x 是什么? 一般地, 我们可以令 $g(x)=f(x)-y$ , 原问题也就等价于求解 $g(x)=0$ , 后者也可以认为是非线性求根问题的一般形式. 方程 $f(x)=0$ 的根, 称为函数 f 的零点, 函数的零点可以是实零点, 也可以是复零点. 若函数 f 有零点 $x^{*}$ , 并且 $f(x)=(x-x^{*})^{m}g(x)$ , 其中 $g(x^{*}) \neq 0$ , m 是正整数, 则称 $x^{*}$ 是函数 f 的 m 重零点.

非线性方程求根问题可能有解, 也可能无解, 不论是求实根还是求复根. 对于多项式函数, 我们有如下熟知的代数基本定理:

第8章 · 矩阵特征值与特征向量的计算

Mon, 01 Jan 0001 00:00:00 +0000

8.1 前言#

在许多科学和工程问题中, 例如振动问题和稳定性问题等, 都会遇到特征值和特征向量的计算问题. 所谓矩阵特征值问题是指: 给定 $n$ 阶方阵 $\mathbf{A} \in \mathbb{R}^{n \times n}$ , 寻找常数 $\lambda \in \mathbb{C}$ 和非零向量 $\mathbf{x} \in \mathbb{C}^n$ , 使得

$$ \boldsymbol{A} \boldsymbol{x} = \lambda \boldsymbol{x},\tag{8.1} $$

其中 $\mathbb{C}$ 和 $\mathbb{C}^n$ 分别表示复数域和 $n$ 维复向量空间.

对于 n 阶方阵 A, 称

$$ p (\lambda) = \det (\mathbf{A} - \lambda \mathbf{I})\tag{8.2} $$

为矩阵 A 的特征多项式, 其中 I 为 n 阶单位矩阵, $\det(A - \lambda I)$ 表示方阵 A - $\lambda I$ 的行列式. 由线性代数知识知, $p(\lambda)$ 是关于 $\lambda$ 的 n 次多项式, 且 p 的零点即为矩阵 A 的全部特征值. 设 $\lambda_{i}$ 为矩阵 A 的特征值, 由于 $\det(A - \lambda_{i}I) = 0$ , 故方程 $(A - \lambda I)x = 0$ 必有非零解 $x^{(i)}$ , 称 $x^{(i)}$ 为矩阵 A 对应于特征值 $\lambda_{i}$ 的特征向量. 上述内容实际上就是线性代数中介绍的 n 阶矩阵 A 的特征值及其对应特征向量的计算方法.

第9章 · 常微分方程初边值问题数值解

Mon, 01 Jan 0001 00:00:00 +0000

含有未知函数及其导数或微分的等式, 常称为微分方程. 科学研究和工程技术中的许多问题都可通过微分方程来建立数学模型进行分析. 一般而言, 除了少数特殊类型的微分方程能用解析方法求得精确解外, 多数情况找不到解的解析表达式. 因此, 采用适当的数值方法来求解微分方程已成为微分方程求解的主要手段.

本章主要研究两类常微分问题：一类是一阶常微分方程的初值问题

$$ \left\{\begin{array}{l l} \boldsymbol{y}^{\prime} = \boldsymbol{f} (x, \boldsymbol{y}), & x \in [ a, b ], \\ \boldsymbol{y} (\boldsymbol{a}) = \boldsymbol{y}_{0}, \end{array} \right.\tag{9.1} $$

其中 $\boldsymbol{y}(x)$ 是定义在 $[a,b]$ 上的 m 维函数向量, $\boldsymbol{f}(x,\boldsymbol{y})$ 是定义在 $m+1$ 维区域

$$ G = \{(x, \boldsymbol{y}) \mid x \in [ a, b ], \boldsymbol{y} \in \mathbb{R}^{m} \}\tag{9.2} $$

上的 $m$ 维已知函数向量. 由常微分方程理论知: 如果函数 $\pmb{f}(x, \pmb{y})$ 在区域 $G$ 中连续, 且关于 $y$ 满足利普希茨 (Lipschitz) 条件, 即对所有 $x \in [a, b]$ 及 $\pmb{y} \in \mathbb{R}^m$ , $\pmb{z} \in \mathbb{R}^m$ , 总存在常数 $L > 0$ , 使得

索引

Mon, 01 Jan 0001 00:00:00 +0000

A#

B#

C#

D#

E#

二分法, 182

F#

法方程, 91 反幂法, 212 反射矩阵, 49 范德蒙德行列式, 57 范数, 151 非线性最小二乘问题, 99, 199 分块三角分解, 46 分解, 155 浮点数, 3 复合求积公式, 113 傅里叶系数, 103

G#

刚性比, 234 刚性方程组, 234 高斯-埃尔米特公式, 130 高斯-赛德尔迭代法, 156 高斯-拉盖尔公式, 129 高斯-勒让德公式, 126 高斯-切比雪夫公式, 128 高斯公式, 123 高斯消去法, 35 割线法, 194 共轭, 168 广义傅里叶展开, 93

H#

海森伯格型矩阵, 49 函数文件, 19

J#

基函数, 58 极小残量法, 172 交错点组, 87

脚本文件, 18 镜面反射, 50 局部截断误差, 223 局部收敛, 185 绝对稳定, 232