怎么在Dlib中使用OpenCV实现人脸识别-创新互联
这期内容当中小编将会给大家带来有关怎么在Dlib中使用OpenCV实现人脸识别，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
人脸数据库导入
人脸数据导入，也就是说我在系统启动之初，需要导入我的人脸数据库，也就是前面的那些明星的正面照。装载的开始阶段，因为要检测静态人脸图片的人脸部位，首先需要用dlib的人脸检测器，用get_frontal_face_detector()获得。然后需要将68点人脸标记模型导入shape_predictor sp，目的就是要对其人脸到一个标准的姿势，接着就是装载DNN模型。然后取每张人脸照片的特征，并将特征和姓名等相关的信息放入FACE_DESC结构中，最后将每张人脸信息结构放入face_desc_vec容器中，这里我只装载了9个明星的人脸信息。
int FACE_RECOGNITION::load_db_faces(void)
{
intrc = -1;
longhFile = 0;
struct_finddata_tfileinfo;
frontal_face_detectordetector =get_frontal_face_detector();
// We will also use a face landmarking model to align faces to a standard pose: (see face_landmark_detection_excpp for an introduction)
deserialize("shape_predictor_68_face_landmarksdat") >>sp;
// And finally we load the DNN responsible for face recognition
deserialize("dlib_face_recognition_resnet_model_vdat") >>net;
if ((hFile =_findfirst("\\faces\\*jpg", &fileinfo)) != -1)
{
do
{
if ((fileinfoattrib &_A_ARCH))
{
if (strcmp(fileinfoname,"") != 0 && strcmp(fileinfoname,"") != 0)
{
if (!strcmp(strstr(fileinfoname,"") + 1 , "jpg"))
{
cout <<"This file is an image file!" <img;
charpath[260];
sprintf_s(path,"\\faces\\%s",fileinfoname);
load_image(img,path);
image_windowwin(img);
for (autoface :detector(img))
{
autoshape =sp(img,face);
matrixface_chip;
extract_image_chip(img,get_face_chip_details(shape, 150, 25),face_chip);
//Record the all this face's information
FACE_DESCsigle_face;
sigle_faceface_chip =face_chip;
sigle_facename =fileinfoname;
std::vector>face_chip_vec;
std::vector>face_all;
face_chip_vecpush_back(move(face_chip));
//Asks the DNN to convert each face image in faces into a 128D vector
face_all =net(face_chip_vec);
//Get the feature of this person
std::vector>::iteratoriter_begin = face_allbegin(),
iter_end =face_allend();
if (face_allsize() > 1)break;
sigle_faceface_feature = *iter_begin;
//all the person description into vector
face_desc_vecpush_back(sigle_face);
winadd_overlay(face);
}
}
else
{
cout <<"This file is not image file!" <人脸检测
人脸检测在人脸识别的应用系统中我认为是至关重要的一环，因为人脸检测的好坏直接影响最终的识别率，如果在人脸检测阶段能做到尽量好的话，系统的识别率会有一个比较大的提升。下面的是人脸检测的具体代码实现（很简陋莫怪），尝试了用Dlib人脸检测，OpenCV人脸检测，还有于仕琪的libfacedetection，比较发现于仕琪的libfacedetection是做人脸检测最好的一个，速度快，并且检测图像效果也很好。
intcapture_face(Matframe,Mat&out)
{
Matgray;
Matface;
intrc = -1;
if (frame.empty() || !frame.data)return -1;
cvtColor(frame,gray,CV_BGR2GRAY);
int *pResults =NULL;
unsignedchar *pBuffer = (unsignedchar *)malloc(DETECT_BUFFER_SIZE);
if (!pBuffer)
{
fprintf(stderr,"Can not alloc buffer.\n");
return -1;
}
//pResults = facedetect_frontal_tmp((unsigned char*)(gray.ptr(0)), gray.cols, gray.rows, gray.step,
// 1.2f, 5, 24);
pResults =facedetect_multiview_reinforce(pBuffer, (unsignedchar*)(gray.ptr(0)),gray.cols,gray.rows, (int)gray.step,
1.2f, 2, 48, 0, 1);
//printf("%d faces detected.\n", (pResults ? *pResults : 0));//重复运行
//print the detection results
if (pResults !=NULL)
{
for (inti = 0;i < (pResults ? *pResults : 0);i++)
{
short *p = ((short*)(pResults + 1)) + 6 *i;
intx =p[0];
inty =p[1];
intw =p[2];
inth =p[3];
intneighbors =p[4];
Rect_face_rect =Rect_(x,y,w, h);
face =frame(face_rect);
printf("face_rect=[%d, %d, %d, %d], neighbors=%d\n",x,y, w,h,neighbors);
Pointleft(x,y);
Pointright(x +w,y + h);
cv::rectangle(frame,left,right, Scalar(230, 255, 0), 4);
}
//imshow("frame", frame);
if (face.empty() || !face.data)
{
face_detect_count = 0;
return -1;
}
if (face_detect_count++ > 30)
{
imshow("face",face);
out =face.clone();
return 0;
}
}
else
{
//face is moving, and reset the detect count
face_detect_count = 0;
}
returnrc;
} 人脸识别
通过人脸检测函数capture_face()经过处理之后临时保存在工程目录下的cap.jpg，用get_face_chip_details()函数将检测到的目标图片标准化为150*150像素大小，并对人脸进行旋转居中，用extract_image_chip()取得图像的一个拷贝，然后将其存储到自己的图片face_chip中，把的到face_chip放入vect_faces容器中，传送给深度神经网络net，得到捕捉到人脸图片的128D向量特征。最后在事先导入的人脸数据库中遍历与此特征最相近的人脸即可识别出相应的人脸信息。
这种模式的应用，也就是我们所说的1：N应用，1对N是比较考验系统运算能力的，举个例子，现在支付宝账户应该已经是上亿级别的用户，如果你在就餐的时候选择使用支付宝人脸支付，也许在半个小时内服务器也没有找你的脸，这下就悲催，当然在真实应用场景可能是还需要你输入你的名字，这下可能就快多了，毕竟全国可能和你重名的也就了不的几千上万个吧，一搜索，人脸识别再一验证即可。
前面的这些还没有考虑安全的因素，比如说双胞胎啊，化妆啊（网红的年代啊），还有年龄的因素，环境的因素还包括光照、角度等导致的误识别或是识别不出，识别不出的情况还好，如果是误识别对于支付等对于安全性要求极其严苛的应用来说简直就是灾难。所以人脸识别还有很大的局限性 – 额，好像扯远了。
matrix face_cap;
//save the capture in the project directory
load_image(face_cap, ".\\cap.jpg");
//Display the raw image on the screen
image_window win1(face_cap);
frontal_face_detector detector = get_frontal_face_detector();
std::vector> vect_faces;
for (auto face : detector(face_cap))
{
auto shape = face_recognize.sp(face_cap, face);
matrix face_chip;
extract_image_chip(face_cap, get_face_chip_details(shape, 150, 0.25), face_chip);
vect_faces.push_back(move(face_chip));
win1.add_overlay(face);
}
if (vect_faces.size() != 1)
{
cout <<"Capture face error! face number "<< vect_faces.size() << endl;
cap.release();
goto CAPTURE;
}
//Use DNN and get the capture face's feature with 128D vector
std::vector> face_cap_desc = face_recognize.net(vect_faces);
//Browse the face feature from the database, and find the match one
std::pair candidate_face;
std::vector len_vec;
std::vector> candi_face_vec;
candi_face_vec.reserve(256);
for (size_t i = 0; i < face_recognize.face_desc_vec.size(); ++i)
{
auto len = length(face_cap_desc[0] - face_recognize.face_desc_vec[i].face_feature);
if (len < 0.45)
{
len_vec.push_back(len);
candidate_face.first = len;
candidate_face.second = face_recognize.face_desc_vec[i].name.c_str();
candi_face_vec.push_back(candidate_face);
#ifdef _FACE_RECOGNIZE_DEBUG
char buffer[256] = {0};
sprintf_s(buffer, "Candidate face %s Euclid length %f",
face_recognize.face_desc_vec[i].name.c_str(),
len);
MessageBox(CString(buffer), NULL, MB_YESNO);
#endif
}
else
{
cout << "This face from database is not match the capture face, continue!" << endl;
}
}
//Find the most similar face
if (len_vec.size() != 0)
{
shellSort(len_vec);
int i(0);
for (i = 0; i != len_vec.size(); i++)
{
if (len_vec[0] == candi_face_vec[i].first)
break;
}
char buffer[256] = { 0 };
sprintf_s(buffer, "The face is %s -- Euclid length %f",
candi_face_vec[i].second.c_str(), candi_face_vec[i].first);
if (MessageBox(CString(buffer), NULL, MB_YESNO) == IDNO)
{
face_record();
}
}
else
{
if (MessageBox(CString("Not the similar face been found"), NULL, MB_YESNO) == IDYES)
{
face_record();
}
}
face_detect_count = 0;
frame.release();
face.release();
异常处理
当人脸或是物体快速的在摄像头前活动时，会导致系统异常抛出，异常提示如下：
对于这个问题，我们可以先用C++捕获异常的工具，try和catch工具来捕获异常：
Mat frame;
Mat face;
VideoCapture cap(0);
if (!cap.isOpened()) {
AfxMessageBox(_T("Please check your USB camera's interface num."));
}
try
{
while (1)
{
check_close(cap);
cap >> frame;
if (!frame.empty())
{
if (capture_face(frame, face) == 0)
{
//convert to IplImage format and then save with .jpg format
IplImage face_Img;
face_Img = IplImage(face);
//save the capture face to the project directory
cvSaveImage("./cap.jpg", &face_Img);
break;
}
imshow("view", frame);
}
int c = waitKey(10);
if ((char)c == 'c') { break; }
}
}
catch (exception& e)
{
cout << "\nexception thrown!" << endl;
cout << e.what() << endl;
#ifdef _CAPTURE_DEBUG
MessageBox(CString(e.what()), NULL, MB_YESNO);
#endif
goto CAPTURE;
}上述就是小编为大家分享的怎么在Dlib中使用OpenCV实现人脸识别了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联行业资讯频道。
网站栏目：怎么在Dlib中使用OpenCV实现人脸识别-创新互联
转载来于：http://6mz.cn/article/dscjdc.html