objective-c - 使用C++从文件中读取五千万个数据存入vector中如何加快速度？

浏览：73日期：2023-11-14

问题描述

我需要从txt文件中读取五千万个double数据，并且存入vector中，我最初觉得可能是文件io太慢，所以使用了文件内存映射，将文件内容当成block全部读入内存中，然后再一个一个push_back进vector中，但是直接从文件一个一个读数据只需要3分钟，我优化之后反而增加到了5分钟。

我的优化方案是，将文件整块读入内存，放在char*的buffer中，再使用vec_name.reserve(50000000);分配五千万的容量，避免重复分配内存，但是好像没有什么作用。

难道是因为时间主要花在push_back上面了么？

请问有什么好的优化方法么？谢谢各位大神了！优化后的关键代码如下：（需要五分钟才能将全部数据读入vector）

ifstream iVecSim('input.txt');iVecSim.seekg(0, iVecSim.end);long long file_size = iVecSim.tellg();//文件大小iVecSim.seekg(0, iVecSim.beg);char *buffer = new char[file_size];iVecSim.read(buffer, file_size);string input(buffer);delete[]buffer;istringstream ss_sim(input);//string流string fVecSim;vec_similarity.reserve(50000000);while (ss_sim.good()) {//从string流中读入vector ss_sim >> fVecSim; vec_similarity.push_back(atof(fVecSim.c_str()));}

问题解答

回答1：

debug模式下跑没有意义，我用你的代码在release下跑也就14秒左右的样子。

解决问题先找问题，我把代码修改成这个样子，先查出耗时的地方是哪

std::cout << 'Start' << std::endl; auto n1 = ::GetTickCount(); auto n2 = 0; auto n3 = 0; auto n4 = 0; while (ss_sim.good()) {auto n = ::GetTickCount();ss_sim >> fVecSim;n2 += (::GetTickCount() - n);n = ::GetTickCount();auto v = atof(fVecSim.c_str());n3 += (::GetTickCount() - n);n = ::GetTickCount();vec_similarity.push_back(v);n4 += (::GetTickCount() - n); } n1 = ::GetTickCount() - n1; std::cout << 'ss_sim >> fVecSim：' << n2 << 'ms' << std::endl; std::cout << 'atof：' << n3 << 'ms' << std::endl; std::cout << 'push_back：' << n4 << 'ms' << std::endl; std::cout << 'Total：' << n1 << 'ms' << std::endl;