怎么用C++提取任意一张图片的特征（从内存读取数据）_C/C++

怎么用C++提取任意一张图片的特征（从内存读取数据）

2021-05-08 16:51WHLOOK C/C++

这篇文章主要介绍了用C++提取任意一张图片的特征（从内存读取数据）的相关资料,需要的朋友可以参考下

　　关于使用C++接口来提取特征，caffe官方提供了一个extract_features.cpp的例程，但是这个文件的输入是blob数据，即使输入层使用的是ImageData，也需要在deploy.prototxt中指定图片的位置，很不方便。

如果想要使用opencv来读取一个图片，然后用caffe训练好的model提取特征，就需要对输入层进行改写。另外官方例程默认的输出是leveldb格式，我们也可以获取float类型的多维特征（数组），这样集成到我们的项目中更灵活。

　　首先我们需要改写deploy.prototxt的输入层为"MemoryData"：

				?

									layer {

									 name: "data"

									 type: "MemoryData"

									 top: "data"

									 top: "label"

									 memory_data_param{

									 batch_size:1

									 channels:3

									 height:100

									 width:100

									 }

									}

　　在之前的训练中可能使用的是"ImageData"、"Data"之类的，现在改成MemoryData不影响。

　　我准备提取的层的名字是"res5_6"，就是"InnerProduct"的前一层，当我想提取"InnerProduct"全连接层的输出时，总是报错，提示原始参数和网络参数不匹配（就是训练好的model和现在deploy的网络维度不一样），所以只好提取前一层了，并且要把全连接层屏蔽掉，屏蔽的方法是把prototxt里相应层的名字改掉就好（相对于caffemodel里面的名字）。[以上问题暂时还没解决，留坑]

　　下面是更改之后的 extract_features.cpp的代码：

				?

									#include <stdio.h> 

									#include <string>

									#include <vector>

									#include <iostream>

									#include <opencv2/opencv.hpp>

									#include "boost/algorithm/string.hpp"

									#include "google/protobuf/text_format.h"

									#include "caffe/blob.hpp"

									#include "caffe/common.hpp"

									#include "caffe/net.hpp"

									#include "caffe/proto/caffe.pb.h"

									#include "caffe/util/io.hpp"

									#include "caffe/layers/memory_data_layer.hpp"

									#define NetTy float 

									using namespace caffe;

									using std::cout;

									using std::endl;

									using std::string;

									/* 加载模型函数 */

									template <typename Dtype>

									caffe::Net<Dtype>* loadNet(std::string param_file, std::string pretrained_param_file, caffe::Phase phase)

									{

									 caffe::Net<Dtype>* net(new caffe::Net<Dtype>(param_file, phase));

									 net->CopyTrainedLayersFrom(pretrained_param_file);

									 return net;

									}

									int main()

									{

									 cv::Mat src;

									 src = cv::imread("face_example/test.jpg"); // 读取测试图片

									 cv::resize(src, src, cv::Size(100, 100)); // 这里要将图片resize到prototxt里面的输入层指定的大小

									 caffe::Net<NetTy>* _net = loadNet<NetTy>("face_example/face_deploy.prototxt", "face_example/face.caffemodel", caffe::TEST); // 加载网络定义文件和参数模型

									 caffe::MemoryDataLayer<NetTy> *m_layer = (caffe::MemoryDataLayer<NetTy> *)_net->layers()[0].get(); // 定义个内存数据层指针

									 std::vector<cv::Mat> dv = { src }; // AddMatVector(const vector<cv::Mat>& mat_vector,const vector<int>& labels)

									 std::vector<int> label = { 0 }; // -------------------------------------------------------------------------

									 m_layer->AddMatVector(dv, label); // 把图片和标签，添加到 MemoryData层

									 std::vector<caffe::Blob<NetTy>*> input_vec; // 无意义，为了函数参数需要

									 _net->Forward(input_vec);     // 执行一次前向计算

									 boost::shared_ptr<caffe::Blob<NetTy>> layerData = _net->blob_by_name("res5_6"); // 获得指定层的输出

									 const NetTy* pstart = layerData->cpu_data(); // res5_6->cpu_data()返回的是多维数据（数组）

									 /*-----输出特征-----*/

									 for (int i = 0; i < 30000; i++)

									 {

									  std::cout << *pstart << endl;

									  pstart++;

									 }

									 return 0;

									}