gitextract_1atzokxc/ ├── .bazelrc ├── CONTRIBUTING.md ├── LICENSE ├── MANIFEST.in ├── MODULE.bazel ├── README.md ├── configure ├── doc/ │ ├── index.md │ ├── record_writer_options.md │ └── riegeli_records_file_format.md ├── python/ │ ├── BUILD │ ├── MANIFEST.in │ ├── README.md │ ├── __init__.py │ ├── build_pip_package.sh │ ├── dummy_binary.py │ ├── riegeli/ │ │ ├── BUILD │ │ ├── BUILD.tpl │ │ ├── __init__.py │ │ ├── base/ │ │ │ ├── BUILD │ │ │ ├── __init__.py │ │ │ ├── riegeli_error.py │ │ │ ├── utils.cc │ │ │ └── utils.h │ │ ├── bytes/ │ │ │ ├── BUILD │ │ │ ├── python_reader.cc │ │ │ ├── python_reader.h │ │ │ ├── python_writer.cc │ │ │ └── python_writer.h │ │ ├── py_extension.bzl │ │ ├── python_configure.bzl │ │ ├── records/ │ │ │ ├── BUILD │ │ │ ├── __init__.py │ │ │ ├── examples/ │ │ │ │ ├── BUILD │ │ │ │ ├── __init__.py │ │ │ │ └── write_read_records.py │ │ │ ├── record_position.cc │ │ │ ├── record_position.h │ │ │ ├── record_reader.cc │ │ │ ├── record_writer.cc │ │ │ ├── records_metadata.proto │ │ │ ├── skipped_region.py │ │ │ └── tests/ │ │ │ ├── BUILD │ │ │ ├── __init__.py │ │ │ ├── records_test.proto │ │ │ └── records_test.py │ │ └── tensorflow/ │ │ ├── BUILD │ │ ├── __init__.py │ │ ├── kernel_tests/ │ │ │ ├── __init__.py │ │ │ └── riegeli_dataset_test.py │ │ └── ops/ │ │ ├── __init__.py │ │ └── riegeli_dataset_ops.py │ └── setup.py ├── riegeli/ │ ├── .gitignore │ ├── BUILD │ ├── base/ │ │ ├── BUILD │ │ ├── any.h │ │ ├── any_initializer.h │ │ ├── any_internal.h │ │ ├── arithmetic.h │ │ ├── assert.cc │ │ ├── assert.h │ │ ├── background_cleaning.cc │ │ ├── background_cleaning.h │ │ ├── binary_search.h │ │ ├── buffer.cc │ │ ├── buffer.h │ │ ├── buffering.h │ │ ├── byte_fill.cc │ │ ├── byte_fill.h │ │ ├── bytes_ref.h │ │ ├── c_string_ref.h │ │ ├── chain.cc │ │ ├── chain.h │ │ ├── chain_base.h │ │ ├── chain_details.h │ │ ├── closing_ptr.h │ │ ├── compact_string.cc │ │ ├── compact_string.h │ │ ├── compare.h │ │ ├── constexpr.h │ │ ├── cord_iterator_span.cc │ │ ├── cord_iterator_span.h │ │ ├── cord_utils.cc │ │ ├── cord_utils.h │ │ ├── debug.cc │ │ ├── debug.h │ │ ├── dependency.h │ │ ├── dependency_base.h │ │ ├── dependency_manager.h │ │ ├── errno_mapping.cc │ │ ├── errno_mapping.h │ │ ├── estimated_allocated_size.h │ │ ├── external_data.cc │ │ ├── external_data.h │ │ ├── external_ref.h │ │ ├── external_ref_base.h │ │ ├── external_ref_support.h │ │ ├── global.h │ │ ├── hybrid_direct_common.h │ │ ├── hybrid_direct_internal.h │ │ ├── hybrid_direct_map.h │ │ ├── hybrid_direct_set.h │ │ ├── initializer.h │ │ ├── initializer_internal.h │ │ ├── intrusive_shared_ptr.h │ │ ├── invoker.h │ │ ├── iterable.h │ │ ├── maker.h │ │ ├── memory_estimator.cc │ │ ├── memory_estimator.h │ │ ├── moving_dependency.h │ │ ├── new_aligned.h │ │ ├── null_safe_memcpy.h │ │ ├── object.cc │ │ ├── object.h │ │ ├── optional_compact_string.h │ │ ├── options_parser.cc │ │ ├── options_parser.h │ │ ├── ownership.h │ │ ├── parallelism.cc │ │ ├── parallelism.h │ │ ├── port.h │ │ ├── recycling_pool.h │ │ ├── ref_count.h │ │ ├── reset.h │ │ ├── shared_buffer.cc │ │ ├── shared_buffer.h │ │ ├── shared_ptr.h │ │ ├── sized_shared_buffer.cc │ │ ├── sized_shared_buffer.h │ │ ├── stable_dependency.h │ │ ├── status.cc │ │ ├── status.h │ │ ├── stream_utils.cc │ │ ├── stream_utils.h │ │ ├── string_ref.h │ │ ├── string_utils.cc │ │ ├── string_utils.h │ │ ├── temporary_storage.h │ │ ├── type_erased_ref.h │ │ ├── type_id.h │ │ ├── type_traits.h │ │ ├── types.h │ │ ├── unicode.cc │ │ ├── unicode.h │ │ └── uninitialized_vector.h │ ├── brotli/ │ │ ├── BUILD │ │ ├── brotli_allocator.cc │ │ ├── brotli_allocator.h │ │ ├── brotli_dictionary.cc │ │ ├── brotli_dictionary.h │ │ ├── brotli_reader.cc │ │ ├── brotli_reader.h │ │ ├── brotli_writer.cc │ │ └── brotli_writer.h │ ├── bytes/ │ │ ├── BUILD │ │ ├── array_backward_writer.cc │ │ ├── array_backward_writer.h │ │ ├── array_writer.cc │ │ ├── array_writer.h │ │ ├── backward_writer.cc │ │ ├── backward_writer.h │ │ ├── buffer_options.cc │ │ ├── buffer_options.h │ │ ├── buffered_reader.cc │ │ ├── buffered_reader.h │ │ ├── buffered_writer.cc │ │ ├── buffered_writer.h │ │ ├── cfile_handle.cc │ │ ├── cfile_handle.h │ │ ├── cfile_internal.cc │ │ ├── cfile_internal.h │ │ ├── cfile_internal_for_cc.h │ │ ├── cfile_reader.cc │ │ ├── cfile_reader.h │ │ ├── cfile_writer.cc │ │ ├── cfile_writer.h │ │ ├── chain_backward_writer.cc │ │ ├── chain_backward_writer.h │ │ ├── chain_reader.cc │ │ ├── chain_reader.h │ │ ├── chain_writer.cc │ │ ├── chain_writer.h │ │ ├── compact_string_writer.h │ │ ├── copy_all.cc │ │ ├── copy_all.h │ │ ├── cord_backward_writer.cc │ │ ├── cord_backward_writer.h │ │ ├── cord_reader.cc │ │ ├── cord_reader.h │ │ ├── cord_writer.cc │ │ ├── cord_writer.h │ │ ├── fd_handle.cc │ │ ├── fd_handle.h │ │ ├── fd_internal.cc │ │ ├── fd_internal.h │ │ ├── fd_internal_for_cc.h │ │ ├── fd_mmap_reader.cc │ │ ├── fd_mmap_reader.h │ │ ├── fd_reader.cc │ │ ├── fd_reader.h │ │ ├── fd_writer.cc │ │ ├── fd_writer.h │ │ ├── file_mode_string.cc │ │ ├── file_mode_string.h │ │ ├── iostream_internal.h │ │ ├── istream_reader.cc │ │ ├── istream_reader.h │ │ ├── joining_reader.cc │ │ ├── joining_reader.h │ │ ├── limiting_backward_writer.cc │ │ ├── limiting_backward_writer.h │ │ ├── limiting_reader.cc │ │ ├── limiting_reader.h │ │ ├── limiting_writer.cc │ │ ├── limiting_writer.h │ │ ├── null_backward_writer.cc │ │ ├── null_backward_writer.h │ │ ├── null_writer.cc │ │ ├── null_writer.h │ │ ├── ostream_writer.cc │ │ ├── ostream_writer.h │ │ ├── path_ref.h │ │ ├── position_shifting_backward_writer.cc │ │ ├── position_shifting_backward_writer.h │ │ ├── position_shifting_reader.cc │ │ ├── position_shifting_reader.h │ │ ├── position_shifting_writer.cc │ │ ├── position_shifting_writer.h │ │ ├── prefix_limiting_backward_writer.cc │ │ ├── prefix_limiting_backward_writer.h │ │ ├── prefix_limiting_reader.cc │ │ ├── prefix_limiting_reader.h │ │ ├── prefix_limiting_writer.cc │ │ ├── prefix_limiting_writer.h │ │ ├── pullable_reader.cc │ │ ├── pullable_reader.h │ │ ├── pushable_backward_writer.cc │ │ ├── pushable_backward_writer.h │ │ ├── pushable_writer.cc │ │ ├── pushable_writer.h │ │ ├── read_all.cc │ │ ├── read_all.h │ │ ├── reader.cc │ │ ├── reader.h │ │ ├── reader_cfile.cc │ │ ├── reader_cfile.h │ │ ├── reader_factory.cc │ │ ├── reader_factory.h │ │ ├── reader_istream.cc │ │ ├── reader_istream.h │ │ ├── resizable_writer.cc │ │ ├── resizable_writer.h │ │ ├── restricted_chain_writer.cc │ │ ├── restricted_chain_writer.h │ │ ├── splitting_writer.cc │ │ ├── splitting_writer.h │ │ ├── std_io.cc │ │ ├── std_io.h │ │ ├── string_reader.cc │ │ ├── string_reader.h │ │ ├── string_writer.cc │ │ ├── string_writer.h │ │ ├── stringify.h │ │ ├── stringify_writer.h │ │ ├── vector_writer.h │ │ ├── wrapping_backward_writer.cc │ │ ├── wrapping_backward_writer.h │ │ ├── wrapping_reader.cc │ │ ├── wrapping_reader.h │ │ ├── wrapping_writer.cc │ │ ├── wrapping_writer.h │ │ ├── write.h │ │ ├── write_int_internal.cc │ │ ├── write_int_internal.h │ │ ├── writer.cc │ │ ├── writer.h │ │ ├── writer_cfile.cc │ │ ├── writer_cfile.h │ │ ├── writer_ostream.cc │ │ └── writer_ostream.h │ ├── bzip2/ │ │ ├── BUILD │ │ ├── bzip2_error.cc │ │ ├── bzip2_error.h │ │ ├── bzip2_reader.cc │ │ ├── bzip2_reader.h │ │ ├── bzip2_writer.cc │ │ └── bzip2_writer.h │ ├── chunk_encoding/ │ │ ├── BUILD │ │ ├── README.md │ │ ├── brotli_encoder_selection.cc │ │ ├── brotli_encoder_selection.h │ │ ├── chunk.cc │ │ ├── chunk.h │ │ ├── chunk_decoder.cc │ │ ├── chunk_decoder.h │ │ ├── chunk_encoder.cc │ │ ├── chunk_encoder.h │ │ ├── compressor.cc │ │ ├── compressor.h │ │ ├── compressor_options.cc │ │ ├── compressor_options.h │ │ ├── constants.h │ │ ├── decompressor.cc │ │ ├── decompressor.h │ │ ├── deferred_encoder.cc │ │ ├── deferred_encoder.h │ │ ├── field_projection.h │ │ ├── hash.cc │ │ ├── hash.h │ │ ├── simple_decoder.cc │ │ ├── simple_decoder.h │ │ ├── simple_encoder.cc │ │ ├── simple_encoder.h │ │ ├── transpose_decoder.cc │ │ ├── transpose_decoder.h │ │ ├── transpose_encoder.cc │ │ ├── transpose_encoder.h │ │ └── transpose_internal.h │ ├── containers/ │ │ ├── BUILD │ │ ├── chunked_sorted_string_set.cc │ │ ├── chunked_sorted_string_set.h │ │ ├── linear_sorted_string_set.cc │ │ └── linear_sorted_string_set.h │ ├── csv/ │ │ ├── BUILD │ │ ├── csv_reader.cc │ │ ├── csv_reader.h │ │ ├── csv_record.cc │ │ ├── csv_record.h │ │ ├── csv_writer.cc │ │ └── csv_writer.h │ ├── digests/ │ │ ├── BUILD │ │ ├── adler32_digester.cc │ │ ├── adler32_digester.h │ │ ├── crc32_digester.cc │ │ ├── crc32_digester.h │ │ ├── crc32c_digester.h │ │ ├── digest_converter.h │ │ ├── digester_handle.cc │ │ ├── digester_handle.h │ │ ├── digesting_reader.cc │ │ ├── digesting_reader.h │ │ ├── digesting_writer.cc │ │ ├── digesting_writer.h │ │ ├── highwayhash_digester.cc │ │ ├── highwayhash_digester.h │ │ ├── md5_digester.h │ │ ├── openssl_digester.h │ │ ├── sha1_digester.h │ │ ├── sha256_digester.h │ │ ├── sha512_256_digester.h │ │ ├── sha512_digester.h │ │ └── wrapping_digester.h │ ├── endian/ │ │ ├── BUILD │ │ ├── endian_reading.h │ │ └── endian_writing.h │ ├── gcs/ │ │ ├── BUILD │ │ ├── gcs_internal.h │ │ ├── gcs_object.cc │ │ ├── gcs_object.h │ │ ├── gcs_reader.cc │ │ ├── gcs_reader.h │ │ ├── gcs_writer.cc │ │ └── gcs_writer.h │ ├── lines/ │ │ ├── BUILD │ │ ├── line_reading.cc │ │ ├── line_reading.h │ │ ├── line_writing.h │ │ ├── newline.h │ │ ├── text_reader.cc │ │ ├── text_reader.h │ │ ├── text_writer.cc │ │ └── text_writer.h │ ├── lz4/ │ │ ├── BUILD │ │ ├── lz4_dictionary.cc │ │ ├── lz4_dictionary.h │ │ ├── lz4_reader.cc │ │ ├── lz4_reader.h │ │ ├── lz4_writer.cc │ │ └── lz4_writer.h │ ├── messages/ │ │ ├── BUILD │ │ ├── context_projection.h │ │ ├── dynamic_field_handler.h │ │ ├── field_copier.h │ │ ├── field_handler_map.h │ │ ├── field_handlers.cc │ │ ├── field_handlers.h │ │ ├── map_entry_field.h │ │ ├── message_wire_format.h │ │ ├── parse_message.cc │ │ ├── parse_message.h │ │ ├── serialize_message.cc │ │ ├── serialize_message.h │ │ ├── serialized_message_assembler.cc │ │ ├── serialized_message_assembler.h │ │ ├── serialized_message_backward_writer.cc │ │ ├── serialized_message_backward_writer.h │ │ ├── serialized_message_internal.h │ │ ├── serialized_message_reader.cc │ │ ├── serialized_message_reader.h │ │ ├── serialized_message_reader_internal.h │ │ ├── serialized_message_writer.cc │ │ ├── serialized_message_writer.h │ │ ├── text_parse_message.cc │ │ ├── text_parse_message.h │ │ ├── text_print_message.cc │ │ └── text_print_message.h │ ├── ordered_varint/ │ │ ├── BUILD │ │ ├── ordered_varint_internal.h │ │ ├── ordered_varint_reading.cc │ │ ├── ordered_varint_reading.h │ │ ├── ordered_varint_writing.cc │ │ └── ordered_varint_writing.h │ ├── records/ │ │ ├── BUILD │ │ ├── README.md │ │ ├── block.h │ │ ├── chunk_reader.cc │ │ ├── chunk_reader.h │ │ ├── chunk_writer.cc │ │ ├── chunk_writer.h │ │ ├── record_position.cc │ │ ├── record_position.h │ │ ├── record_reader.cc │ │ ├── record_reader.h │ │ ├── record_writer.cc │ │ ├── record_writer.h │ │ ├── records_metadata.proto │ │ ├── skipped_region.cc │ │ ├── skipped_region.h │ │ └── tools/ │ │ ├── BUILD │ │ ├── describe_riegeli_file.cc │ │ ├── records_benchmark.cc │ │ ├── riegeli_summary.proto │ │ ├── tfrecord_recognizer.cc │ │ └── tfrecord_recognizer.h │ ├── snappy/ │ │ ├── BUILD │ │ ├── framed/ │ │ │ ├── BUILD │ │ │ ├── framed_snappy_reader.cc │ │ │ ├── framed_snappy_reader.h │ │ │ ├── framed_snappy_writer.cc │ │ │ └── framed_snappy_writer.h │ │ ├── hadoop/ │ │ │ ├── BUILD │ │ │ ├── hadoop_snappy_reader.cc │ │ │ ├── hadoop_snappy_reader.h │ │ │ ├── hadoop_snappy_writer.cc │ │ │ └── hadoop_snappy_writer.h │ │ ├── snappy_reader.cc │ │ ├── snappy_reader.h │ │ ├── snappy_streams.cc │ │ ├── snappy_streams.h │ │ ├── snappy_writer.cc │ │ └── snappy_writer.h │ ├── tensorflow/ │ │ ├── BUILD │ │ ├── io/ │ │ │ ├── BUILD │ │ │ ├── file_reader.cc │ │ │ ├── file_reader.h │ │ │ ├── file_writer.cc │ │ │ ├── file_writer.h │ │ │ └── tstring_writer.h │ │ ├── kernels/ │ │ │ └── riegeli_dataset_ops.cc │ │ └── ops/ │ │ └── riegeli_dataset_ops.cc │ ├── text/ │ │ ├── BUILD │ │ ├── ascii_align.h │ │ ├── concat.h │ │ ├── join.h │ │ ├── write_int.cc │ │ └── write_int.h │ ├── varint/ │ │ ├── BUILD │ │ ├── varint_internal.h │ │ ├── varint_reading.cc │ │ ├── varint_reading.h │ │ └── varint_writing.h │ ├── xz/ │ │ ├── BUILD │ │ ├── xz_error.cc │ │ ├── xz_error.h │ │ ├── xz_reader.cc │ │ ├── xz_reader.h │ │ ├── xz_writer.cc │ │ └── xz_writer.h │ ├── zlib/ │ │ ├── BUILD │ │ ├── zlib_dictionary.h │ │ ├── zlib_error.cc │ │ ├── zlib_error.h │ │ ├── zlib_reader.cc │ │ ├── zlib_reader.h │ │ ├── zlib_writer.cc │ │ └── zlib_writer.h │ └── zstd/ │ ├── BUILD │ ├── zstd_dictionary.cc │ ├── zstd_dictionary.h │ ├── zstd_reader.cc │ ├── zstd_reader.h │ ├── zstd_writer.cc │ └── zstd_writer.h └── tf_dependency/ ├── BUILD ├── BUILD.tpl └── tf_configure.bzl