O MS Excel pode exibir 1.048.576 linhas. Embora possa parecer um número muito grande em uso normal, há muitos cenários em que isso não é suficiente.
Quer você esteja visualizando arquivos de log ou grandes conjuntos de dados, é fácil encontrar arquivos CSV com milhões de linhas ou arquivos de texto enormes. Como Excel não suporta arquivos desse tamanho, como exatamente você os abre? Vamos descobrir.
Por que os editores de texto normais não conseguem abrir arquivos realmente grandes?
Um computador tem gigabytes de armazenamento, então por que os editores de texto não conseguem abrir arquivos grandes?
Há dois fatores em jogo aqui. Alguns aplicativos têm um limite codificado para a quantidade de dados que podem exibir. Não importa quanta memória seu PC tenha, eles simplesmente não a usarão.
O segundo problema é a RAM. Muitos editores de texto não têm um limite rígido para o número de linhas, mas não podem exibir arquivos grandes devido a limitações de memória. Eles carregam o arquivo inteiro na RAM do sistema, portanto, se essa memória não for grande o suficiente, o processo falhará.
Método nº 1: usando editores gratuitos
A melhor maneira de visualizar arquivos de texto extremamente grandes é usar… um editor de texto. Não apenas qualquer editor de texto, mas as ferramentas destinadas a escrever código. Esses aplicativos geralmente conseguem lidar com arquivos grandes sem problemas e são gratuitos.
Visualizador de arquivos de texto grandes é provavelmente o mais simples desses aplicativos. É muito fácil de usar, funciona rápido e consome poucos recursos. A única desvantagem? Não é possível editar os arquivos. Mas se você deseja apenas visualizar arquivos CSV grandes, esta é sem dúvida a melhor ferramenta para o trabalho.
Também para editar arquivos de texto grandes, você deve tentar Emacs. Criado originalmente para sistemas Unix, ele também funciona perfeitamente no Windows e pode lidar com arquivos grandes. Da mesma forma, Neovim e Texto sublime são dois IDEs leves que podem ser usados para abrir arquivos de texto CSV de tamanho gigabyte.
Se tudo o que você procura é pesquisar dados em grandes arquivos de log, klogg é a ferramenta ideal para você. Um fork de atualização do popular glogg, este aplicativo permite que você execute operações de pesquisa complexas através de enormes arquivos de texto com facilidade. Como os arquivos de log gerados por computador geralmente podem ter milhões de linhas, o klogg foi projetado para funcionar com esses tamanhos de arquivo sem problemas..
Método nº 2: dividir em várias partes
O problema de tentar abrir arquivos CSV grandes é que eles são muito grandes. Mas e se você os dividisse em vários arquivos menores?
Esta é uma solução popular, pois geralmente não envolve a necessidade de aprender a interface de um novo editor de texto. Em vez disso, você pode usar um dos muitos divisores CSV disponíveis online para dividir o arquivo grande em vários arquivos fáceis de abrir. Cada um desses arquivos poderá então ser acessado normalmente.
No entanto, esta não é a melhor maneira de fazer isso. A divisão de um arquivo grande geralmente pode causar erros de digitação estranhos ou arquivos configurados incorretamente. Além disso, abrir cada bloco separadamente evita que você filtre todos os dados de uma só vez.
Método nº 3: importar para um banco de dados
Arquivos de texto e .csv que se estendem por vários gigabytes geralmente são conjuntos de dados grandes. Então, por que não importá-los para um banco de dados?
SQL é a linguagem de marcação de banco de dados mais comum usada atualmente. Existem muitas versões do SQL em uso, mas o mais fácil provavelmente é o MySQL. E por sorte, é possível converter um arquivo CSV em uma tabela MySQL.
Este não é de forma alguma o método mais fácil de lidar com arquivos CSV grandes, por isso só recomendamos isso se você quiser lidar regularmente com grandes conjuntos de dados. Se o MySQL parecer muito difícil, você pode importar seus arquivos .csv para Acesso MS.
Método nº 4: analisar com bibliotecas Python
Ao trabalhar com um arquivo .csv com milhões de linhas de dados, obviamente você não conseguirá entendê-lo manualmente. Você provavelmente deseja filtrar os dados e executar consultas específicas para entender as tendências.
Então por que não escrever código Python fazer exatamente isso?
Mais uma vez, este não é o método mais fácil de usar. Embora Python não é a linguagem de programação mais difícil de aprender seja codificação, então pode não ser a melhor abordagem para você. Ainda assim, se você tiver que analisar arquivos CSV muito grandes diariamente, talvez queira automatize a tarefa com algum código Python.
Método nº 5: com ferramentas premium
Os editores de texto que vimos no primeiro método não eram ferramentas dedicadas ao processamento de CSV. Eram ferramentas de uso geral que também podiam ser usadas para trabalhar com arquivos .csv grandes.
Mas e os aplicativos especializados? Não existem aplicativos criados para resolver esse problema?.
Existem, na verdade. Explorador de CSV, por exemplo, baseia-se no mesmo processo que descrevemos nos dois últimos métodos (banco de dados SQL e código Python) para criar um aplicativo capaz de visualizar e editar arquivos CSV de qualquer tamanho. Você pode fazer tudo o que espera de uma ferramenta de planilha, como criar gráficos ou filtrar os dados no CSV Explorer.
Outra opção é Ultra. Ao contrário da ferramenta anterior, isso não se aplica apenas a arquivos .csv, mas a qualquer tipo de arquivo de texto. Ele pode lidar facilmente com arquivos de texto e CSV de até alguns gigabytes, com uma interface semelhante a muitos dos editores gratuitos que discutimos anteriormente.
A única desvantagem dessas ferramentas é que elas são aplicativos premium, exigindo que você obtenha uma licença paga para poder usá-las. Você sempre pode experimentar suas versões de teste gratuitas para verificar seus recursos ou se quiser usá-las apenas uma vez.
Qual é a melhor maneira de abrir arquivos grandes de texto e CSV?
Nesta era de Big Data, não é incomum encontrar arquivos de texto de até gigabytes, que podem ser difíceis de visualizar até mesmo com ferramentas integradas como o Bloco de Notas ou o MS Excel. Para poder abrir arquivos CSV tão grandes, você precisa baixar e usar um aplicativo de terceiros.
Se tudo o que você deseja é visualizar esses arquivos, o Large Text File Viewer é a melhor escolha para você. Para realmente editá-los, você pode experimentar um editor de texto rico em recursos, como o Emacs, ou optar por uma ferramenta premium, como o CSV Explorer.
Técnicas como dividir o arquivo CSV ou importá-lo para um banco de dados envolvem muitas etapas. É melhor obter uma licença paga de uma ferramenta premium dedicada se você trabalha muito com arquivos de texto enormes.
.