CC2P — CSV'den Parquet'e dönüştürücü

CC2P (Convert CSV To Parquet), CSV dosyalarını verimli bir şekilde Apache Parquet formatına dönüştüren Rust ile yazılmış yüksek performanslı bir komut satırı aracıdır. Parquet, verimli veri sıkıştırma ve kodlama şemaları sunan sütunsal bir depolama formatıdır; büyük veri işleme için idealdir.

Neden CC2P?

• Performans: Hızlı dönüşümler için Rust’ın hızından ve çok iş parçacıklılıktan yararlanır
• Bellek Verimliliği: Minimum bellek kullanımıyla dosyaları işler
• Esneklik: Farklı ayırıcılar ve başlık seçenekleriyle çeşitli CSV formatlarını destekler
• Şema Çıkarımı: Verilerinizden sütun türlerini otomatik tespit eder
• Toplu İşleme: Tek komutla birden fazla CSV dosyasını dönüştürür
• İnteraktif Mod: TUI ile sütunları göz atın ve seçerek dışa aktarın

Kurulum

Cargo ile (Önerilen)

cargo install cc2p

GitHub Releases

Releases sayfasından önceden derlenmiş binary’leri indirebilirsiniz.

Kaynaktan

git clone https://github.com/rayyildiz/cc2p.git
cd cc2p
cargo build --release

Kullanım

cc2p [OPTIONS] [PATH]

Örnekler

Tek bir CSV dönüştür:

cc2p data.csv

Klasördeki tüm CSV dosyalarını dönüştür:

cc2p

Noktalı virgül ayırıcılı CSV’ler:

cc2p --delimiter ";" *.csv

4 iş parçacığı ile hızlı işleme:

cc2p --worker 4 large_data.csv

Seçenekler

• -d, —delimiter: CSV dosyalarındaki ayırıcı karakter (varsayılan: ,)
• -n, —no-header: Başlık içerip içermediği
• -w, —worker: İş parçacığı sayısı (varsayılan: 1)
• -s, —sampling: Şema çıkarımı için örneklenecek satır sayısı (varsayılan: 2048)
• -i, —interactive: İnteraktif UI

İnteraktif Mod

cc2p -i

Tuş	İşlev
↑/↓	Dosya veya sütunlar arasında gezin
Tab	Dosya ve Sütun panelleri arasında geçiş
Space	Vurgulanan sütunu seç/kaldır
Enter	Seçili sütunları Parquet’e aktar
Q	Uygulamadan çık

Platform Notları

macOS

Apple imzalama/noterleme henüz tamamlanmadı. İndirdikten sonra:

xattr -c cc2p

Linux

Snap ile kurulum:

sudo snap install cc2p

Teknik Gereksinimler

• Rust: 1.88.0+ (Edition 2024)

Lisans

MIT — LICENSE dosyasına bakın.