求SVD算法的C++实现代码

/** C++ function for SVD

函数原型:

bool svd(vector<vector<double>>A, int K, std::vector<std::vector<double>>&U, std::vector<double>&S, std::vector<std::vector<double>>&V)

其中

A是输入矩阵，假设A的维数是m*n，那么本函数将A分解为U diag(S) V'

其中U是m*K的列正交的矩阵. V是n*K的列正交矩阵，S是K维向量。K由第二个参数指定。

U的第i列是A的第i大奇异值对应的左歧义向量,S[i]=A的第 i大奇异值,V的第i列是A的第i大奇异值对应的右歧义响亮.

K是需要分解的rank，0<K<=min(m,n)

本程序采用的是最基本幂迭代算法，在linux g++下编译通过

**/

#include <cmath>

#include <iostream>

#include <iomanip>

#include <cstdlib>

#include <cstring>

#include <fstream>

#include <vector>

using namespace std

const int MAX_ITER=100000

const double eps=0.0000001

double get_norm(double *x, int n){

    double r=0

    for(int i=0i<ni++)

        r+=x[i]*x[i]

    return sqrt(r)

}

double normalize(double *x, int n){

    double r=get_norm(x,n)

    if(r<eps)

        return 0

    for(int i=0i<ni++)

        x[i]/=r

    return r

}

inline double product(double*a, double *b,int n){

    double r=0

    for(int i=0i<ni++)

        r+=a[i]*b[i]

    return r

}

void orth(double *a, double *b, int n){//|a|=1

    double r=product(a,b,n)

    for(int i=0i<ni++)

        b[i]-=r*a[i]

    

}

bool svd(vector<vector<double>>A, int K, std::vector<std::vector<double>>&U, std::vector<double>&S, std::vector<std::vector<double>>&V){

    int M=A.size()

    int N=A[0].size()

    U.clear()

    V.clear()

    S.clear()

    S.resize(K,0)

    U.resize(K)

    for(int i=0i<Ki++)

        U[i].resize(M,0)

    V.resize(K)

    for(int i=0i<Ki++)

        V[i].resize(N,0)

    

    srand(time(0))

    double *left_vector=new double[M]

    double *next_left_vector=new double[M]

    double *right_vector=new double[N]

    double *next_right_vector=new double[N]

    while(1){

        for(int i=0i<Mi++)

            left_vector[i]= (float)rand() / RAND_MAX

        if(normalize(left_vector, M)>eps)

            break

    }

    int col=0

    for(int col=0col<Kcol++){

        double diff=1

        double r=-1

        for(int iter=0diff>=eps &&iter<MAX_ITERiter++){

            memset(next_left_vector,0,sizeof(double)*M)

            memset(next_right_vector,0,sizeof(double)*N)

            for(int i=0i<Mi++)

                for(int j=0j<Nj++)

                    next_right_vector[j]+=left_vector[i]*A[i][j]

            r=normalize(next_right_vector,N)

            if(r<eps) break

            for(int i=0i<coli++)

                orth(&V[i][0],next_right_vector,N)

            normalize(next_right_vector,N)

            for(int i=0i<Mi++)

                for(int j=0j<Nj++)

                    next_left_vector[i]+=next_right_vector[j]*A[i][j]

            r=normalize(next_left_vector,M)

            if(r<eps) break

            for(int i=0i<coli++)

                orth(&U[i][0],next_left_vector,M)

            normalize(next_left_vector,M)

            diff=0

            for(int i=0i<Mi++){

                double d=next_left_vector[i]-left_vector[i]

                diff+=d*d

            }

            memcpy(left_vector,next_left_vector,sizeof(double)*M)

            memcpy(right_vector,next_right_vector,sizeof(double)*N)

        }

        if(r>=eps){

            S[col]=r

            memcpy((char *)&U[col][0],left_vector,sizeof(double)*M)

            memcpy((char *)&V[col][0],right_vector,sizeof(double)*N)

        }else

            break

    }

    delete [] next_left_vector

    delete [] next_right_vector

    delete [] left_vector

    delete [] right_vector

    return true

}

void print(vector<vector<double>>&A){

    for(int i=0i<A.size()i++){

        for(int j=0j<A[i].size()j++){

            cout<<setprecision(3)<<A[i][j]<<' '

        }

        cout<<endl

    }

}

int main(){

    int m=10

    int n=5

    srand(time(0))

    vector<vector<double>>A

    A.resize(m)

    

    for(int i=0i<mi++){

        A[i].resize(n)

        for(int j=0j<nj++)

            A[i][j]=(float)rand()/RAND_MAX

    }

    print(A)

    cout<<endl

    vector<vector<double>>U

    vector<double>S

    vector<vector<double>>V

    svd(A,2,U,S,V)

    cout<<"U="<<endl

    print(U)

    cout<<endl

    cout<<"S="<<endl

    for(int i=0i<S.size()i++){

        cout<<S[i]<<' '

    }

    cout<<endl

    cout<<"V="<<endl

    print(V)

    return 0

}

在MATLAB里打开svd的源码可以看到只有一堆注释，最后写的是该函数为built-in function。事实上，MATLAB的矩阵计算使用的是Intel的MKL库（见之前我写的一个答案如何写出比 MATLAB 更快的矩阵运算程序？ - 过拟合的回答），这个库基本是现有BLAS/LAPACK实现中最快的了。svd是LAPACK中的标准运算，因此MATLAB实际是使用的MKL库来做svd。

MKL作为一个商业库，其算法细节和代码是不公开的，而且业界对于这种基本算法必然会有非常独到的优化，涉及到大量细节（算法本身的细节，以及代码层次的细节）。svd的经典算法有Golub-Kahan算法、分治法、Jacobi法几种，我推测MKL具体实现的是分治法。

---