我该如何检测文本文件中使用的分隔符？
我需要能够解析CSV和TSV文件。 我不能依赖用户知道差异，所以我想避免要求用户选择类型。 有没有一种简单的方法来检测正在使用哪个分隔符？
一种方法是读取每一行并计算制表符和逗号，并找出每行中最常用的。 当然，数据可能包括逗号或标签，因此说起来容易做起来难。
编辑：这个项目的另一个有趣的方面是，当我阅读它时，我还需要检测文件的模式，因为它可能是众多文件中的一个。 这意味着在解析之前我不知道有多少个字段。
您可以在预览窗口中显示结果 – 类似于Excel的方式。 在这种情况下使用错误的分隔符时非常清楚。 然后，您可以允许他们选择一系列分隔符并实时预览更新。
然后你可以简单地猜测开始时的分隔符（例如，首先是逗号或制表符）。
在Python中，csv模块中有一个Sniffer类，可用于猜测给定文件的分隔符和引号字符。 它的策略是（引自csv.py的文档字符串）：
[首先，查看]包含在两个相同引号（可能的quotechar）之间的文本，这些引号之前和之后是相同的字符（可能的分隔符）。 例如：
,'some text', 获胜最多的引用，与分隔符相同。 如果没有quotechar，则无法以这种方式确定分隔符。
在这种情况下，请尝试以下方法：
分隔符应在每行上出现相同的次数。 但是，由于数据格式错误，可能不会。 我们不想要全有或全无的方法，所以我们允许这个数字的微小变化。
- 建立每行每个字符频率的表格。
- 建立一个这个频率的频率表（元频率？），例如’x在10行中出现5次，在1000行中出现6次，在2行中出现7次’
- 使用元频率的模式来确定该角色的预期频率
- 找出角色实际达到目标的频率
- 最符合其目标的角色是分隔符
出于性能原因，数据以块的forms进行评估，因此它可以尝试评估可能的最小部分数据，并根据需要评估其他块。
我不打算在这里引用源代码 – 它位于每个Python安装的Lib目录中。
请记住，CSV也可以使用分号而不是逗号作为分隔符（例如，在德语版本的Excel中，CSV以分号分隔，因为逗号在德国用作小数分隔符…）
你知道每行应该有多少个字段吗？ 如果是这样，我会阅读文件的前几行并根据它进行检查。
根据我的经验，“普通”数据通常包含逗号但很少包含制表符。 这表明您应该检查前几行中的一致数量的选项卡，并将该选项作为首选猜测。 当然，这取决于你所拥有的确切数据。
最终，很可能有一个对两种格式都完全有效的文件 – 所以你不能让它绝对万无一失。 它必须是“尽力而为”的工作。
我遇到了类似的需求，并认为我会分享我想出的东西。 我还没有通过它运行大量数据，因此可能存在边缘情况。 另外，请记住，此function的目标不是100％确定分隔符，但最好猜测要呈现给用户。
/// /// Analyze the given lines of text and try to determine the correct delimiter used. If multiple /// candidate delimiters are found, the highest frequency delimiter will be returned. /// /// /// string discoveredDelimiter = DetectDelimiter(dataLines, new char[] { '\t', '|', ',', ':', ';' }); /// /// Lines to inspect /// Delimiters to search for /// The most probable delimiter by usage, or null if none found. public string DetectDelimiter(IEnumerable lines, IEnumerable delimiters) { Dictionary delimFrequency = new Dictionary(); // Setup our frequency tracker for given delimiters delimiters.ToList().ForEach(curDelim => delimFrequency.Add(curDelim, 0) ); // Get a total sum of all occurrences of each delimiter in the given lines delimFrequency.ToList().ForEach(curDelim => delimFrequency[curDelim.Key] = lines.Sum(line => line.Count(p => p == curDelim.Key)) ); // Find delimiters that have a frequency evenly divisible by the number of lines // (correct & consistent usage) and order them by largest frequency var possibleDelimiters = delimFrequency .Where(f => f.Value > 0 && f.Value % lines.Count() == 0) .OrderByDescending(f => f.Value) .ToList(); // If more than one possible delimiter found, return the most used one if (possibleDelimiters.Any()) { return possibleDelimiters.First().Key.ToString(); } else { return null; } }
它在PHP中，但这看起来非常可靠：
$csv = 'something;something;something someotherthing;someotherthing;someotherthing '; $candidates = array(',', ';', "\t"); $csvlines = explode("\n", $csv); foreach ($candidates as $candidatekey => $candidate) { $lastcnt = 0; foreach ($csvlines as $csvline) { if (strlen($csvline) <= 2) continue; $thiscnt = substr_count($csvline, $candidate); if (($thiscnt == 0) || ($thiscnt != $lastcnt) && ($lastcnt != 0)) { unset($candidates[$candidatekey]); break; } $lastcnt = $thiscnt; } } $delim = array_shift($candidates); echo $delim;
它的作用如下：对于每个指定的可能分隔符，它读取CSV中的每一行并检查每个分隔符出现的次数是否恒定。 如果没有，候选分离器将被移除，最终你应该最终选择一个分离器。
我想你建议的解决方案是最好的方法。 在格式良好的CSV或TSV文件中，每行的逗号或制表符数应保持不变（完全没有变化）。 对文件的每一行进行计数，并检查哪一行对于所有行都是常量。 每行的两个分界符的计数似乎不太可能相同，但在这种不可思议的罕见情况下，您当然可以提示用户。
如果选项卡和逗号的数量都不是常量，则向用户显示一条消息，告诉他们文件格式错误但程序认为它是（无论格式具有每行的分界线的最低标准偏差）文件。
只需阅读几行，计算逗号数量和标签数量并进行比较。 如果有20个逗号且没有标签，则为CSV格式。 如果有20个标签和2个逗号（可能在数据中），则它在TSV中。
没有“有效”的方式。
假设每行有固定数量的字段，并且值中的任何逗号或制表符都用引号（“）括起来，您应该能够根据每行中每个字符的频率进行处理。如果字段不是’固定，这是更难，如果引号不用于包含其他分隔字符，我怀疑，它几乎是不可能的（并且取决于数据，特定于语言环境）。
根据我的经验，数据很少包含制表符，因此一行制表符分隔字段（通常）相当明显。
但是逗号更难 – 特别是如果你在非美国语言环境中阅读数据。 如果您正在读取由国家/地区生成的文件，则数字数据可能包含大量逗号，因为浮点数通常会包含它们。
最后，唯一安全的方法通常是尝试，然后将其呈现给用户并允许他们进行调整，特别是如果您的数据将包含逗号和/或制表符。
我认为在普通文本中，标签很少见，除非是一行中的第一个字符 – 想想缩进的段落或源代码。 我认为如果您找到嵌入式选项卡（即不使用逗号的选项卡），您可以假设选项卡被用作分隔符并且在大多数情况下都是正确的。 这只是一种预感，未经任何研究validation。 我当然会给用户提供覆盖自动计算模式的选项。
假设你有一套标准的列，你会期望……
我会使用FileHelper（SourceForge上的开源项目）。 http://filehelpers.sourceforge.net/
定义两个阅读器模板，一个用于comas，一个用于标签。
如果第一个失败，请尝试第二个。
您可以检查一行是使用一个分隔符还是另一个分隔符，如下所示：
while ((line = readFile.ReadLine()) != null) { if (line.Split('\t').Length > line.Split(',').Length) // tab delimited or comma delimited? row = line.Split('\t'); else row = line.Split(','); parsedData.Add(row); }